2020年06月_AllenGd

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创什么是网络爬虫？爬虫有什么好处？

简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。你可以简单地想象：每个爬虫都是你的「分身」。就像孙悟空拔了一撮汗毛，吹出一堆猴子一样。你每天使用的百度，其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。抢票软件，就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票，就马上拍下来，然后对

2020-06-30 10:47:58 6311

原创 Eclipse启动失败原因与解决办法

今天启动eclipse时，发现启动不了，并报错A Java Runtime Environment(JRE) or Java Development Kit(JDK) must be available in order to run Eclipse.....打开eclipse.ini解决办法：打开eclipse.ini添加如下内容：（换成你的jdk目录）-vmE:\Java\jdk1.8\bin\javaw.exe-vmE:\Java\jdk1.8\jre\b

2020-06-19 10:25:53 7868 1

转载 scala中的var,val,immutable,mutable理解小结

最近项目要用到spark平台，无论是看源码还是写程序都需要用scala语言，接触了两天之后，对映射Map这里有点疑问，做了点测试之后记一记自己的想法。首先，在scala中定义变量有var和val两种方式，前者定义一个可变量，后者定义一个不可变量，类似Java中的final或者C++中的const，如图1的示例可展示两者的区别。图1尝试改变一个val定义的变量会报错。针对var和val的区别应...

2020-06-30 17:39:07 813

原创 HBase详细介绍：起源、实现原理、系统架构

1.Hbase起源HBase是一个开源的非关系型分布式数据库，它参考了谷歌的BigTable建模，实现的编程语言为Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似于BigTable 规模的服务。因此，它可以容错地存储海量稀疏的数据。HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的...

2020-06-30 17:18:28 10474 2

原创 python从网站拿数据到excel

之前写过一篇文章爬取图片的，有的童鞋就私聊我，说能不能写一篇爬取数据的，便于分析，下面就简单介绍一下爬取1688网站的商品的步骤：如果你正在追求一个小姐姐，那么我只能帮你到这了。啊哈哈代码：import urllibimport xlwtfrom bs4 import BeautifulSoupimport requestsdef writeExcel(ilt, name): if (name != ''): count = 0 workbook = xlwt...

2020-06-30 11:00:23 3443

原创 Linux文件查找的4个命令

1. findfind 命令应该是最经典的命令了，谈到搜索工具第一个想到的肯定是 find 命令。但是，find 命令非常强大，想要把它的功能都介绍一遍，恐怕要写好几篇文章。所以，这里介绍最基本的，根据文件名查找文件的方法。假如我们想搜索当前目录（及其子目录）下所有 .java 文件，可以这样搜索：或者这样搜索：假如我们想搜索指定目录（及其子目录）下的文件，可以这样搜索：2. locatelocate 是另外一个根据文件名来搜索文件的命令。区别于 find 命令，loca

2020-06-22 13:09:07 14052

原创 Python实践-简单的爬取图片

1.准备工作：Python的安装：到官方网站下载：https://www.python.org/下载后，安装，配置环境变量，之后检查安装是否成功：win+r，输入cmd，再敲命令python，出现如下情况，说明安装成功Python开发工具Pycharm：下载地址：https://www.jetbrains.com/pycharm/2.开始爬虫今天我们来爬取图片，有的人可能会问为什么要爬取图片呢，我可以直接下载啊，一张、两张是可以手动下载，如果成千上万张，手动下载就太浪费时

2020-06-22 11:21:31 1988

原创 CCA Spark and Hadoop Developer Exam(CCA175)考试模拟题讲解四（最后一更三题）

NO.7CORRECT TEXT（第七题正确文本）Problem Scenario 89 : You have been given below patient data in csv format,patientID,name,dateOfBirth,lastVisitDate（您已收到以下csv格式的患者数据，包括：患者ID,患者名字,患者出生日期,最后拜访日期）1001,Ah Teck,1991-12-31,2012-01-201002,Kumar,2011-10-29,2012-09.

2020-06-19 09:21:48 494

原创 CCA Spark and Hadoop Developer Exam(CCA175)考试介绍

介绍：Cloudera认证介绍CDH认证主要包含以下几种：CCA Spark and Hadoop DeveloperCCA Data AnalystCCA AdministratorCCP Data Engineerhttps://www.cloudera.com/about/training/certification.html 1、CCA Spark and Hadoop Developer (CCA175) 开发者认证认证准备建议：Spark and

2020-06-18 14:35:10 2339

原创 CCA Spark and Hadoop Developer Exam(CCA175)考试模拟题讲解三（每日一更两题）

NO.5 CORRECT TEXT（第五题正确文本）Problem Scenario 13 : You have been given following mysql database details as well as other info.（问题场景13：已经提供了以下mysql数据库详细信息和其他信息）user=retail_dbapassword=clouderadatabase=retail_dbjdbc URL = jdbc:mysql://quickstart:3306

2020-06-18 09:19:02 364

原创 CCA Spark and Hadoop Developer Exam(CCA175)考试模拟题讲解二（每日一更两题）

NO.3 CORRECT TEXT（第三题：正确文本）Problem Scenario 84 : In Continuation of previous question, please accomplish following activities.（问题场景84 : 继续前一个问题（NO2），请完成以下活动。）1. Select all the products which has product code as null2. Select all the products, whose n

2020-06-17 12:14:13 389

原创 CCA Spark and Hadoop Developer Exam(CCA175)考试模拟题讲解一（每日一更两题）

NO.1 CORRECT TEXT（第一题：正确文本）Problem Scenario 49 : You have been given below code snippet (do a sum of values by key}, with intermediate output.（问题场景49：下面给出了代码片段（按key进行求和），并提供中间输出。）val keysWithValuesList = Array("foo=A", "foo=A", "foo=A", "foo=A", "foo=B

2020-06-16 15:52:32 717

原创 Java算法十二：背包问题

背包问题（Kanpsack Problem）问题说明：假设一个背包的负重最大可达8公斤，而希望在背包内放置负重范围你价值最高的物品。结果：Java代码：第一段代码，创建一个Fruit类 package com.allen; class Fruit { private String name; private int size; private int price; publi......

2020-06-12 09:02:52 459

原创 Java算法十一：双色，三色河内塔

双色，三色河内塔（Hanoi2Colors）问题说明：双色，三色河内塔是由河内塔演变而来的一种算法。结果：Java代码： package com.allen; public class Hanoi2Colors { public static void help() { System.out.println( "Usage: java Hanoi2Colors number_of_di......

2020-06-12 09:02:42 314

原创 Java算法十：字符串核对

字符串核对（String Match）问题说明：现在的一些高级程序语言对于字符串的处理支持越来越大，不过字符串搜寻本身仍是值得探讨的课题，在这里以Boyer Moore法来说明如何进行字符串说明，这个方法速度快且容易理解。结果：Java代码： package com.allen; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStr.

2020-06-11 14:51:31 225

原创 Java算法九：生命游戏

生命游戏（Life game）问题说明：生命游戏，为1970年英国数学家J.H.Conway所提出，某一细胞的邻居包括上，下，左，右，左上，左下，右上与右下相邻的细胞，游戏规则如下：1，孤单死亡：如果细胞的邻居小于一个，则该细胞在下一个状态死亡。2，拥挤死亡：如果细胞的邻居在四个以上，则该细胞在下一个状态死亡。3，稳定：如果细胞的邻居为两个或三个，则该细胞在下一个状态稳定。4，复活：如果某位置原无细胞存活，而该位置的邻居为三个，则该位置将复活一个细胞。结果：J...

2020-06-11 14:50:06 953

原创 Java算法八：八枚银币

八枚银币（Coins）问题说明：现在有八枚银币abcdefg，已知其中一枚是假币，其重量不同于真币，但不知道是轻还是重，如何用天平以最小的比较次数决定出那个是假币，并得知假币是比真币轻还是重。结果：Java代码： package com.allen; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; .

2020-06-11 14:48:22 217

原创 Java算法七：骑士走棋盘

骑士走棋盘（Knight tour）问题说明：骑士游戏，在十八世纪倍受数学家与拼图迷的注意，骑士的走法为西洋棋的走发，骑士可以由任何一个位置出发，它要如何走完所有的位置。骑士的走法为：先横或竖1或2格,再竖或横2或1格，没有中国象棋蹩脚的限制。如：从图中的（a，1）格跳到（b,3）或（c，2）格结果：Java代码： package com.allen; public class Knight { public boolean trav...

2020-06-11 14:46:42 689

原创 Java算法六：老鼠走迷宫

老鼠走迷宫（Mouse）问题说明：老鼠走迷宫是循环求解的基本类型，我们在二维数组中用2来表示迷宫的墙壁，使用1来表示老鼠的行走路径，并用程序求出从入口到出口的距离。问题解答：实际上是使用回溯算法求解该问题，就是在上下左右四个方向试探，倘若有路则走一步，在新的位置继续在四个位置试探，并且对走过的路进行标记，倘若走到死胡同里，则退回上一步再来试探，以此类推，类似于图的深度优先算法，使用递归来实现。结果：Java代码： package com.allen; .

2020-06-11 14:44:04 1928

原创 Java算法五：八个皇后

八个皇后（Queen）问题说明：八皇后问题，是一个古老而著名的问题，是回溯算法的典型案例。该问题是国际西洋棋棋手马克斯·贝瑟尔于1848年提出：在8×8格的国际象棋上摆放八个皇后，使其不能互相攻击，即任意两个皇后都不能处于同一行、同一列或同一斜线上，问有多少种摆法。高斯认为有76种方案。1854年在柏林的象棋杂志上不同的作者发表了40种不同的解，后来有人用图论的方法解出92种结果。计算机发明后，有多种计算机语言可以解决此问题。问题描述：八皇后问题是一个以国际象棋为背景的问题：如...

2020-06-11 14:42:08 224

原创 Java算法四：三色旗

三色旗（ThreeColorFlags）问题说明：三色旗的问题最早由E.W.Dijkstra所提出，塔所使用的用语为Dutch Nation Flag（Dijkstra为荷兰人），而多数的作者则使用Three-Color Flag来称之。假设有一条绳子，上面有红，白，蓝三种颜色的旗子，起初绳子上的旗子颜色并没有顺序，您希望将之分类，并排列蓝，白，红的顺序，要如何移动次数才会最少，注意您只能在绳子上进行这个动作，而且一次只能调换两个旗子。解法：利用三个数组的坐标来标准旗子，例如b、w、r分

2020-06-11 14:37:28 557

原创 Java算法三：杨辉三角

杨辉三角：又称帕斯卡三角杨辉三角，是二项式系数在三角形中的一种几何排列。在欧洲，这个表叫做帕斯卡三角形。帕斯卡（1623-1662）是在1654年发现这一规律的，比杨辉要迟393年，比贾宪迟600年。简介：杨辉三角是中国古代数学的杰出研究成果之一，它把二项式系数图形化，把组合数内在的一些代数性质直观地从图形中体现出来，是一种离散型的数与形的优美结合结果：Java代码： package com.allen; import java.util.Scanner.

2020-06-11 14:35:28 250

原创 Java算法二：斐波那契数列

斐波那契数列：又称费式数列（Fibonacci）问题说明：又称黄金分割数列、因数学家列昂纳多·斐波那契（Leonardoda Fibonacci）以兔子繁殖为例子而引入，故又称为“兔子数列”（ Fibonacci为1200年代的欧洲数学家，在他的著作中曾经提到：若有一只兔子每个月生一只小兔子，一个月后小兔子也开始生产。起初只有一只兔子，一个月后就有两只兔子，两个月后有三只兔子，三个月后有五只兔子（小兔子投入生产）……），指的是这样一个数列：1、1、2、3、5、8、13、21、34、……在数学...

2020-06-11 14:34:01 255

原创 Java算法一：汉诺塔

Java算法一：汉诺塔（河内塔Towers of Hanoi）问题说明：汉诺塔：又称河內塔(Towers of Hanoi)是法国人M.Claus(Lucas)于1883年从泰国带至法国的，河內为越战时北越的首都，即现在的胡志明市；1883年法国数学家 Edouard Lucas曾提及这个故事，据说创世纪时Benares有一座波罗教塔，是由三支钻石棒（Pag）所支撑，开始时神在第一根棒上放置64个由上至下按照由小至大排列的金盘（Disc），并命令僧侣将所有的金盘从第一根石棒移至第三根石棒，且搬运过程

2020-06-11 14:32:02 900

原创 Hadoop倒排索引（附带完整代码）

“倒排索引”是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（Inverted Index）1、实例描述通常情况下，倒排索引由一个单词（或词组）以及相关的文档列表组成，文档列表中的文档或者是标识文档的ID号，或者是指文档所在位置的URL，如图一所示 ...

2020-06-10 13:14:44 7020 2

原创 eclipse连接CDH6.2.1集群的Hadoop集群（wordcount简单测试）

一、使用eclipse连接CDH6.2.1上的Hadoop1.在自己电脑（windows系统）上配置jdk、Hadoop的环境变量2.配置完环境变量后，验证一下：Win+R，输入cmd进入到命令窗口：java -version进入Hadoop的bin目录下：hadoop version3.下载eclipse，安装eclipse4.把hadoop-eclipse-plugin-2.6.0.jar复制到eclipse的plugins目录下5.把E:\..

2020-06-10 10:48:24 1171 1

原创 Linux使用之Shell

第1章 Shell概述大数据程序员为什么要学习Shell呢？1）需要看懂运维人员编写的Shell程序。2）偶尔会编写一些简单Shell程序来管理集群、提高开发效率。Shell是一个命令行解释器，它接收应用程序/用户mingl ，然后调用操作系统内核。Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。第2章 Shell解析器（1）Linux提供的Shell解析器有：[root@manager ~]# cat /etc/shells/bin/sh/b

2020-06-08 17:23:57 1864 2

原创 hive压缩和存储

1.1 Hadoop源码编译支持Snappy压缩1.1.1资源准备1.CentOS联网配置 CentOS能连接外网。Linux虚拟机ping www.baidu.com是畅通的注意：采用 root角色编译，减少文件夹权限出现问题2.jar包准备(hadoop源码、JDK8、maven、protobuf)（1）hadoop-2.7.2-src.tar.gz（2）jdk-8u144-linux-x64.tar.gz（3）snappy-1.1.3.tar.gz（4）apache

2020-06-03 18:03:21 350

原创 impala实战篇

第1章 impala基本概念1 什么是impalaCloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。1.1 Impala的优缺点1.1.1 优点基于内存运算，不需要把中间结果写入磁盘，省掉了大量的I/O开销无需转换MapReduce，直接访问存储在HDFS，HBase中的数据进行作业调度，速度快。使用了支持

2020-06-03 15:36:57 2018

原创 impala理论篇之七：impala、hive、hbase对比（主要是impala vs hive）

1. 什么是实时分析（在线查询）系统？大数据领域里面，实时分析（在线查询）系统是最常见的一种场景，通常用于客户投诉处理，实时数据分析，在线查询等等过。因为是查询应用，通常有以下特点：a. 时延低（秒级别）。b. 查询条件复杂（多个维度，维度不固定），有简单（带有ID)。c. 查询范围大（通常查询表记录在几十亿级别）。d. 返回结果数小（几十条甚至几千条）。e. 并发数要求高（几百上千同时并发）。f. 支持SQL（这个业界基本上达成共识了，原因是很难找到一个又会数据分析，还能写JA

2020-06-03 14:58:34 1973

原创 impala理论篇之六：查询的执行流程

Impala如何执行查询下面这个图表示impala在Hadoop集群中所处的位置：Impala由以下组件组成：Clients-HUE、ODBC clients、JDBC clients和impala shell都可以与impala进行交互，这些接口都可以用在impala的数据查询以及对impala的管理。 Hive Metastore-存储impala可以访问数据的元数据。例如：这些数据可以让impala知道哪些数据库以及数据库的结构是可以访问的，当你创建、删除、修改数据库对象或者加载数据

2020-06-03 14:47:03 3787 2

原创 impala理论篇之五：Impala核心组件

Impala核心组件1.Impala daemon（impalad）Impala的核心组件，是运行在各个节点上面的impalad这个守护进程（impala daemon），与DataNode运行在同一节点上，它负责读写数据文件，接收从impala-shell、hue、jdbc、odbc等接口发送的查询请求（接收查询请求的Impalad为Coordinator，Coordinator通过JNI调用java前端解释SQL查询语句，生成查询计划树，再通过调度器把执行计划分发给具有相应数据的其它Impala

2020-06-03 14:37:28 1676

原创 impala理论篇之四：Impala支持的文件格式

Impala支持的文件格式Impala 支持几种熟悉的 Apache Hadoop 中使用的文件格式。Impala 可以加载或查询其他 Hadoop 组件如 Pig 或 MapReduce 产生的数据文件，并且 Impala 产生的数据文件也可以被其他组件使用。Impala 表使用的文件格式具有重要的性能意义。一些文件格式包括压缩支持，会影响到硬盘上数据的大小，因此，也影响反序列化数据时所需的 I/O 和 CPU 资源的数量。因为查询通常以移动和解压缩数据开始，所需的 I/O 和 CPU 资源是查询

2020-06-03 14:33:52 2948

原创 impala理论篇之三：impala介绍

简介Impala是Cloudera公司主导开发的新型查询系统，是Google Dremel的开源实现。它提供SQL语义，能够查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但是由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性；相比之下，Impala的最大特点也是最大卖点就是它的快速。在介绍Impala之前需要先介绍Google的Dremel系统，因为Impala最开始是参照 Dremel系统进行设计的。

2020-06-03 14:31:32 1367

原创 impala理论篇之二：MPP 与 Hadoop是什么关系

MPP 与 Hadoop是什么关系？1. hadoop(hive)跟mpp的本质区别是什么，这个有的时候界限很模糊，比如说存储，如果我把ｍｐｐ的存储架在hdfs上，那存储模型就没有区别了，所以地下我打算还是用比较传统的认知来作区别。2. hive跟mpp的存储模型不一样，hive用的hdfs，而mpp需要自己做切分，自己做切分就带来动态调整的问题，hdfs的扩展是通过元数据来做的，他有中心节点用来存元数据，在加入新的节点的时候，只需要修改元数据就可以了，所以hdfs的扩展能力是受到管理元数据那台机器

2020-06-03 14:29:24 1277 2

TA关注的人

元旦倒计时代码，更改上面的日期，以后年年都可以用

ubuntu安装.docx

HPL语法.docx

Inceptor SQL语法.docx

ER-图知识点归纳.docx

Apache Kafka的流式SQL引擎——ksql.docx

Redis指南.docx

kudu1.6RPM安装包.rar

Nifi安装&案例实践.docx

什么是一致性.docx

关于#测试#的问题，如何解决？

如何使用kettle，程式创建临时表，里面的内容是创建表？