自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 HashMap、Hashtable、ConcurrentHashMap的原理与区别

面试必备:HashMap、Hashtable、ConcurrentHashMap的原理与区别   下面直接来干货,先说这三个Map的区别: HashTable 底层数组+链表实现,无论key还是value都不能为null,线程安全,实现线程安全的方式是在修改数据时锁住整个HashTable...

2018-10-15 18:53:57

阅读数 31

评论数 0

原创 大数据与人工智能入门到放弃(09 回顾篇 HBase完成分布式安装)

记: 最近在公司写单元测试,因为要涉及到周任务达标问题,所以天天加班,今天周末,安排一波Hbase完全分布式的搭建安装 HBase完成分布式安装 这里我用的0.98的版本,附上下载地址https://archive.apache.org/dist/hbase,下载完成后上传到master机器...

2019-09-21 13:31:44

阅读数 2

评论数 0

原创 大数据与人工智能入门到放弃(08 回顾篇 Hive多节点环境搭建)

记: 这是在加班时写的 Hive多节点环境搭建 在上一篇文章中, 搭建单节点的hive时,我在master装了单机的hive;node2中安装了mysql,所以是node2进行hive的元数据管理服务;所以这次决定不去破坏hive的单节点;搭建多hive多节点时,我把机器node1作为客户端...

2019-09-05 23:12:02

阅读数 1

评论数 0

原创 大数据与人工智能入门到放弃(07 回顾篇 Hive单节点环境搭建与mysql)

记: 最近空闲时间都在刷算法题,所以没怎么更新,这次趁着周末,安排一波 搭建Hive需要先做什么? 用一台服务器作为mysql服务器,因为hive的元数据会存储在mysql中,所以下面就是选我的机器node2作为mysql服务。 在这台机器上安装mysql,输入命令yum install ...

2019-09-01 17:26:52

阅读数 2

评论数 0

原创 大数据与人工智能入门到放弃(06 回顾篇 配置yarn高可用环境)

记: 最近任务有点多,多到天天加班 修改配置文件 搭建过程可参考hadoop官方文档 进入hadoop目录下中etc目录下的hadoop目录修改文件,如下操作,首先修改文件名,然后配置文件,此次搭建高可用的主备ResourceManager服务是在master和node2,修改文件以主机m...

2019-08-31 19:41:32

阅读数 4

评论数 0

原创 大数据与人工智能入门到放弃(05 回顾篇 配置window系统下hadoop的运行环境)

记 下午睡了觉,因为把耳机放公司了,所以叫了同事去帮我拿耳机,没耳机的我没心情写东西,就躺了一下午,耳机回来后,开刚。 准备hadoop包 统一用和Linux里安装的hadoop版本,即为hadoop-2.7.5。还有要准备好hadoop在window环境下编译的文件,文件链接为: 链接...

2019-08-17 22:34:04

阅读数 5

评论数 0

原创 大数据与人工智能入门到放弃(04 回顾篇 hadoop高可用【HA】的搭建)

记: 最近公司任务比较多,所以小忙之中,在晚上抽出一丢丢时间来搭建Hadoop的高可用集群。 集群规划准备 此次搭建是在03篇中搭建好完全分布式的情况下进行修改。因为机器配置受限,但是为了能搭建出来高可用的集群效果。所以把主、备NameNode启动在节点为master,node1的机器上,m...

2019-08-17 14:11:29

阅读数 1

评论数 0

原创 大数据与人工智能入门到放弃(03 回顾篇 hadoop完全分布式安装配置)

记: 下班后洗个澡,趁着昨天写完伪分布式,今天继续就来一波Hadoop完全分布式的配置。 准备环境 包括昨天的一台master节点,还需另外准备2台节点,我还将master也设置成从节点,不仅有namenode而且还有datanode。所以最后的效果应该是,1台namenode和3台data...

2019-08-13 23:52:05

阅读数 3

评论数 0

原创 大数据与人工智能入门到放弃(02 回顾篇 jdk安装与ssh免密登录配置,hadoop伪分布式配置)

记: 最近酒店到期,所以忙于租房找房子,搬家,晚上下班的空余时间,写完这一篇。 准备好jdk和hadoop压缩包 这里我jdk选用的是jdk-8u191-linux-x64.tar.gz,hadoop选用的是hadoop-2.7.5.tar.gz。 这里我就选用一台虚拟机来作为配置的例子,...

2019-08-13 00:22:12

阅读数 2

评论数 0

原创 大数据与人工智能入门到放弃(01 回顾篇linux--网络,服务,克隆)

前言: 为了从头到尾的搞透(了解运用)大数据和AI,所以从今天开始,决定从头开始,从0开始回顾,到项目实战,在工作之余能抽出时间来完善大数据和AI的学习的过程,所以会从项目的搭建过程开始做起,每周至少3次更新博客,希望不会放弃。做这些记录的原因是为了回顾学过的东西,技术的东西,一旦很久不用这项技...

2019-08-04 02:26:23

阅读数 13

评论数 0

原创 kafka0.8的安装

1.下载Kafka安装包 2.上传安装包 3.解压 4.修改配置文件 config/server.properties broker.id=0 host.name=主机名 log.dirs=/data/kafka zookeeper.connect=master:2181,s...

2019-06-24 18:04:30

阅读数 34

评论数 0

原创 nginx安装

一.到官网直接下载nginx源码包 二.下载完再上传到linux服务器,并且解压 三.进入源码目录进行预编译 1.(第一次预编译可能会遇见报错) 2.解决报错,那是缺少依赖导致的 报错如下: 3.安装依赖 yum install -y gcc pcre-devel...

2019-06-24 18:03:31

阅读数 7

评论数 0

原创 SparkStreaming的Receiver方式和直连方式的区别

Receiver接收固定时间间隔的数据(放在内存中),使用Kafka高级的API,自动维护偏移量,达到固定的时间才处理,效率低且容易丢失数据; Direct直连方式,相当于直接连接到Kafka分区上,使用Kafka底层的API,需要自己维护偏移量,效率高。 ...

2019-06-15 00:38:02

阅读数 40

评论数 0

原创 kafka安装及基本操作

kafka集群安装 1.下载Kafka安装包 2.上传安装包 3.解压 4.修改配置文件 config/server.properties broker.id=0 host.name=主机名 log.dirs=/data/kafka zookeeper.connect=ma...

2019-06-13 13:55:16

阅读数 12

评论数 0

原创 Django项目环境搭建

1.创建虚拟环境 virtualenv -p python3 dj(环境名字) 2.进入虚拟环境 source activate 退出当前虚拟环境 deactivate 3.创建django项目 django-admin startproject test(项目名字) 4.创建数据库...

2019-06-03 17:50:51

阅读数 12

评论数 0

原创 scala--spark---(wordcount)

array是一个数组 写法1: array.flatMap(_.split(" ")).groupBy(x => x).mapValues(_.length).toList.sortBy(x => - x._2) 写法2: array.map(...

2019-05-28 15:24:49

阅读数 7

评论数 0

原创 Hive案例--级联报表查询

有如下数据: A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 C,2015-01,10 C,2015-01,20 A,201...

2019-04-24 18:13:17

阅读数 14

评论数 0

原创 Hive数据类型---复合类型--struct结构类型

假设有如下数据: 1,zhang,18:male:深圳 则建表语句应该如下: create table t_user(id int,name string,info struct<age:int,sex:string:addr:string>) row forma...

2019-04-23 17:55:03

阅读数 43

评论数 0

原创 Hive数据类型---复合类型--map类型

假设有如下数据: 1,zhang,father:zhanglaoge#monther:xiaolaomei#brother:superman,22 则建表语句应该如下: create table t_person(id int,name string,family_members map&am...

2019-04-23 16:48:14

阅读数 36

评论数 0

原创 Hive数据类型---复合类型--array数组类型

假设文件中的一行数据为: 反贪风暴4,刘青云:张家辉:张老哥,2019-04-03 此时建表语句应该为: create table t_movie(movie_name string,actors array<string>,show date) row for...

2019-04-23 13:20:13

阅读数 209

评论数 0

提示
确定要删除当前文章?
取消 删除