cry970795248-CSDN博客

原创第六天 -- Kafka API -- Spark Streaming -- DStream

第六天 – Kafka API – Spark Streaming – DStream文章目录第六天 -- Kafka API -- Spark Streaming -- DStream一、Kafka API生产者消费者自定义分区器二、Kafka文件存储机制Kafka文件存储基本结构Kafka partition segmentKafka查找message三、Spark Streaming介绍s...

2018-11-27 22:53:02 807

原创第五天补充 -- Kafka常见问题

第五天补充 – Kafka常见问题一、如何消费已被消费过的数据 consumer底层采用的是一个阻塞队列，只要一有producer生产数据，那么consumer就会将数据消费。这将会产生一个严重的问题，如果重启了消费者程序，那么将会一条数据都抓不到，但是log文件中却可以看见所有的数据都存在。换言之，一旦消费过这些数据，那么将无法再次用同一个groupid消费同一组数据了。原因：消费者...

2018-11-27 17:26:33 335

原创第五天 -- Kafka

第五天 – Kafka基础文章目录第五天 -- Kafka基础一、Kafka简介二、JMS相关JMS简介JMS消息传输模型JMS核心组件三、消息队列的重要性用户注册的一般流程用户注册的并行执行用户注册的最终一致四、Kafka核心组件Kafka整体结构图Consumer与Topic的关系Kafka消息的分发Consumer的负载均衡五、Kafka集群部署下载安装修改配置文件分发安装包kafka集群...

2018-11-26 12:57:17 636

原创第四天 -- Accumulator累加器 -- Spark SQL -- DataFrame -- Hive on Spark

第四天 – Accumulator累加器 – Spark SQL – DataFrame – Hive on Spark文章目录第四天 -- Accumulator累加器 -- Spark SQL -- DataFrame -- Hive on Spark一、Accumulator(累加器)：二、Spark SQLSpark SQL简介Spark SQL特点三、DataFrameDataFram...

2018-11-23 01:22:38 1394 1

原创第三天 -- Spark shuffle -- DAG -- 广播变量 -- 二次排序

第三天 – Spark shuffle – DAG – 广播变量 – 二次排序文章目录第三天 -- Spark shuffle -- DAG -- 广播变量 -- 二次排序一、Spark shuffleSpark shuffle简介触发shuffle操作的算子shuffle过程中的分区排序问题map task和reduce taskshuffle操作的消耗shuffle write和shuffl...

2018-11-21 23:45:28 559

原创第二天 -- Spark集群启动流程 -- 任务提交流程 -- RDD依赖关系 -- RDD缓存 -- 两个案例

第二天 – Spark集群启动流程 – 任务提交流程 – RDD依赖关系 – RDD缓存 – 两个案例文章目录第二天 -- Spark集群启动流程 -- 任务提交流程 -- RDD依赖关系 -- RDD缓存 -- 两个案例一、Spark集群启动流程二、Spark任务提交流程：三、RDD的依赖关系窄依赖宽依赖Lineage四、RDD的缓存RDD缓存方式、级别五、案例一：基站信号范围六、案例二：学科...

2018-11-20 20:52:49 254

原创 Spark基础 -- Spark Shell -- RDD -- 算子

Spark基础 – Spark Shell – RDD – 算子文章目录Spark基础 -- Spark Shell -- RDD -- 算子一、简介二、Spark 1.6.3部署准备工作解压安装配置spark，master高可用配置环境变量分发配置好的Spark到其他节点三、Spark集群启动和测试启动测试四、Spark Shellspark shell简介spark shell 启动在spa...

2018-11-20 09:26:57 1927 1

原创第二十一天 -- hive补充 -- hive分区、分桶 -- hive数据导入导出

第二十一天 – hive补充 – hive分区、分桶 – hive数据导入导出文章目录第二十一天 -- hive补充 -- hive分区、分桶 -- hive数据导入导出一、Hive基础补充二、Hive分区hive分区的目的hive分区和mysql分区的区别hive的分区技术hive分区根据分区关键字分区本质hive分区练习hive分区练习2 -- 二级分区hive分区修改三、hive动态分区参...

2018-10-20 16:50:40 2377 1

原创第二十天-- zookeeper -- hadoop高可用搭建 -- hadoop高可用恢复原数据

第二十天文章目录第二十天一、ZooKeeper简介下载安装配置ZooKeeper配置环境变量分发ZooKeeper至另外两台启动ZooKeeperzkCli的基本命令ZooKeeper注意事项二、Hadoop高可用高可用节点规划配置ssh免密登录修改配置文件分发配置文件第一次启动高可用集群启动集群三、高可用集群恢复原数据恢复原数据hive恢复表数据一、ZooKeeper简介ZooKeepe...

2018-10-20 10:31:08 476

原创第十九天 -- MongoDB -- MapReduce操作Mysql、MongoDB

第十九天 – MongoDB – MapReduce操作Mysql、MongoDB文章目录第十九天 -- MongoDB -- MapReduce操作Mysql、MongoDB一、MongoDB简介下载安装配置环境变量配置启动项启动mongodb服务启动mongodb客户端mongodb基本操作二、通过MapReduce操作mysql表的复制三、通过MapReduce操作MongoDB表的复制...

2018-10-13 19:08:28 340

原创第十八天 -- MapReduce自定义数据类型

第十八天 – MapReduce自定义数据类型文章目录第十八天 -- MapReduce自定义数据类型一、多文件输出二、二次排序 -- 内存排序三、二次排序 -- KV排序实现自定义数据类型四、求统计结果前N名实现自定义数据类型一、多文件输出import java.io.IOException;import java.util.StringTokenizer;import org.ap...

2018-10-13 17:26:07 407

原创第十七天 -- IDEA -- MAVEN -- AWK -- MapReduce简单案例

第十七天 – IDEA – MAVEN – AWK – MapReduce简单案例文章目录第十七天 -- IDEA -- MAVEN -- AWK -- MapReduce简单案例一、IDEA安装破解简单配置常用快捷键二、Maven简介下载解压安装配置环境变量测试配置maven本地仓库Idea中配置MavenMaven依赖查询三、IDEA项目新建Maven项目pom.xml四、awk命令简介aw...

2018-10-13 17:08:49 562

原创 VMWare迁移虚拟机中的机器——CentOS之后的网络配置.md

VMWare迁移虚拟机中的机器——CentOS之后的网络配置文章目录VMWare迁移虚拟机中的机器——CentOS之后的网络配置在换电脑后，不想重新配置虚拟机中的各种软件，可以原机器上通过VMWare中导出为OVF文件，然后将导出的文件夹拷贝到新机器上，再通过打开虚拟机，选中对应的ovf文件即可。但是迁移虚拟机后由于机器变了，而网卡的mac地址又是唯一的，所以新机器的mac地址也会改变，就会导...

2018-10-08 15:14:25 2130 1

原创第十六天 - Sqoop工具使用 - Hadoop、Hive、Sqoop常见问题 - 数据可视化工具ECharts.md

#第十六天 - Sqoop工具使用 - Hadoop、Hive、Sqoop常见问题 - 数据可视化工具ECharts文章目录一、Sqoop从MySql导数据到Hive过程执行Sqoop命令Sqoop简介使用方法实例(官方案例)运行效果一、Sqoop从MySql导数据到Hive过程#####导入至HDFS指定命令 - 声明配置项 - 指定参数命令语句 - 翻译成程序 - 打成jar包将...

2018-09-18 21:58:26 2444 1

原创第十五天 - Hive自定义函数扩展 - Sqoop安装配置、基本操作 - Sqoop结合Web.md

第十五天 - Hive自定义函数扩展 - Sqoop安装配置、基本操作 - Sqoop结合Web文章目录第十五天 - Hive自定义函数扩展 - Sqoop安装配置、基本操作 - Sqoop结合Web一、Hive自定义函数扩展二、Sqoop安装功能概述安装配置测试连接三、Sqoop基本操作将MySQL表数据导入到HDFS中四、Sqoop结合JavaWeb运行效果一、Hive自定义函数扩展UD...

2018-09-18 21:57:27 825

原创第十四天 - JavaWeb结合Hive - Hive外部表 - Hive内置函数 - Hive自定义函数

第十四天 - JavaWeb结合Hive - Hive外部表 - Hive内置函数 - Hive自定义函数第十四天 - JavaWeb结合Hive - Hive外部表 - Hive内置函数 - Hive自定义函数一、JavaWeb结合Hive(二)完善(一)中的功能创建表、导入数据二、Hive外部表三、Hive函数操作关系运算数学运算逻辑运算数值运算日期函...

2018-09-14 20:19:52 1526

原创第十三天 - 封装JDBC操作Hive工具类 - HWI配置与使用 - JavaWeb结合Hive

第十三天 - 封装JDBC操作Hive工具类 - HWI配置与使用 - JavaWeb结合Hive第十三天 - 封装JDBC操作Hive工具类 - HWI配置与使用 - JavaWeb结合Hive一、Hive Sql语句补充二、封装JDBC操作Hive工具类三、HiveWebInterface - Hive的Web页面接口HWI源码打包配置HWI配置HWI使用四、...

2018-09-13 19:59:25 4020 2

原创第十二天 - Hive基本操作 - Hive导入数据、统计数据 - HiveJDBC操作Hive

第十二天 - Hive基本操作 - Hive导入数据、统计数据 - HiveJDBC操作Hive第十二天 - Hive基本操作 - Hive导入数据、统计数据 - HiveJDBC操作Hive一、Hive基础知识补充概念Hive基本操作(二)二、Hive SQL操作案例一：统计dataflow.log文件中的流量数据未指定分隔符指定分隔符三、Hive S...

2018-09-12 21:15:48 4855 1

原创第十一天 - 大数据项目结构 - Hive简介与安装配置、基本操作

第十一天 - 大数据项目结构 - Hive简介与安装配置、基本操作第十一天 - 大数据项目结构 - Hive简介与安装配置、基本操作一、大数据项目模块简介数据源管理计算任务结果展示数据流程管理二、将项目部署到Linux中运行项目地址步骤注意事项三、Hive简介与安装配置、基本操作Hive简介Hive的特点Hive架构MySql补充MyS...

2018-09-11 20:26:42 778 1

原创第十天 - MapReduce实体数据类型 - 与Web交互

第十天 - MapReduce实体数据类型 - 与Web交互第十天 - MapReduce实体数据类型 - 与Web交互一、MapReduce使用实体作为数据类型案例输入输出编写代码运行结果：二、MapReduce与Web进行交互案例index.jspRunMRServlet.javasystem.propertiesRemoteUtil.javaPro...

2018-09-10 21:59:13 744 1

原创第九天 - MapReduce计算模型 - 案例

第九天 - MapReduce计算模型 - 案例第九天 - MapReduce计算模型 - 案例一、概念二、流程三、案例一 - WordCount准备工作编写代码运行程序四、WordCount优化五、案例二 - 计算每一行中多个数值的平均值一、概念MapReduce是一种编程模型，用于大规模数据集的并行运算。能自动完成计算任务的并行...

2018-09-06 16:37:39 426

原创第八天 - JAVA操作HDFS工具类

第八天 - JAVA操作工具类第八天 - JAVA操作工具类一、HDFSUtil工具类补充删除文件获取某一路径下的文件信息文件大小单位换算将本地文件内容写入HDFS文件中读取HDFS中的文件内容二、PropertiesUtil工具类三、RemoteUtil工具类四、对工具类的测试五、通过Web操作HDFS上传本地文件至HDFS展示hdfs文件系统中的文...

2018-09-06 11:54:19 2143

原创第七天 - HDFS概述、命令操作 - JAVA操作HDFS - 集群间时间同步、手动修复

第七天 - HDFS概述、命令操作 - JAVA操作HDFS - 集群间时间同步、手动修复第七天 - HDFS概述、命令操作 - JAVA操作HDFS - 集群间时间同步、手动修复一、HDFS概述HDFS概述HDFS优缺点HDFS核心思想及作用重要特性二、HDFS工作原理概述数据读取过程数据写入过程Hadoop增删节点NameNode详解三、H...

2018-09-04 19:40:52 1216

原创 JavaAPI连接Hbase遇到NoClassDefFoundError时的辛酸解决过程

JavaAPI连接Hbase遇到NoClassDefFoundError时的辛酸解决过程使用Maven搭建JavaAPI连接Hbase项目，运行时出现了如下异常：java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/protobuf/generated/MasterProtos$MasterService$BlockingInt...

2018-09-03 20:59:53 3600

原创第六天 - 安装第二、三台CentOS - SSH免密登陆 - hadoop全分布式安装、配置、集群启动

第六天 - 安装第二、三台CentOS - SSH免密登陆 - hadoop全分布式安装、配置、集群启动第六天 - 安装第二、三台CentOS - SSH免密登陆 - hadoop全分布式安装、配置、集群启动一、安装另外两台CentOS二、对虚拟机进行设置往第二、第三台新增bigdata用户增加三台CentOS之间的hosts映射增加Windows的hosts映射ssh工具...

2018-09-03 20:06:23 657

原创第五天 - 用户与环境变量-yum-tomcat-shell编程基础

第五天 - 用户与环境变量-yum-tomcat-shell编程基础第五天 - 用户与环境变量-yum-tomcat-shell编程基础一、用户切换与环境变量用户环境变量演示二、rpm安装mysql三、tomcat安装tomcattomcat配置通过tomcat发布项目(作为了解)四、yum安装软件yum简介创建本地yum源五、shel...

2018-08-31 20:09:27 448

原创第四天-硬盘分区与挂载-软件安装

第四天-硬盘分区与挂载-软件安装第四天-硬盘分区与挂载-软件安装一、硬盘分区与挂载添加新硬盘查看新添加的硬盘fdisk工具对硬盘进行分区格式化挂载parted工具对硬盘进行分区二、媒体设备的挂载U盘、移动硬盘光盘(只读)三、软件安装DNS配置安装软件pcre(源码包)获取软件包安装软件包安装jdk解压使用配置环境变量删除系统...

2018-08-30 18:35:45 676

原创第三天-Linux启动级别-光盘启动破解密码-用户-用户组

第三天-Linux启动级别-光盘启动破解密码-用户-用户组第三天-Linux启动级别-光盘启动破解密码-用户-用户组一、系统启动级别二、接上一篇忘记密码后修改密码防：阻止在单用户模式下修改密码攻：通过光盘镜像启动直接删除密码三、vi补充四、Linux用户和权限概述创建用户 – 使用root用户操作界面模式命令行模式用户家目录权限概述用户家目录权限...

2018-08-29 17:38:59 428

原创 Hbase单机安装启动时遇到无法启动zk端口2181问题解决办法

Hbase单机安装启动时遇到无法启动zk端口2181问题解压、配置完后执行start-hbase.sh后使用jps未看到HMaster：查看log，提示zk运行的端口应该是2182而不是默认的2181 Could not start ZK at requested port of 2181. &nbsp...

2018-08-28 19:38:59 8550

原创第二天-CentOS基本使用

第二天第二天一、Linux基础补充配置Windows下的hosts文件虚拟机中三种联网方式网络配置root用户软件包的选择二、Linux文件系统目录三、Linux基本命令使用方式命令分类命令格式Tab键基本命令四、文件编辑五、网卡手动配置网卡信息启停网卡六、其他命令七、忘记密码时修改密码(针对本地虚拟机或物理机，云服务器...

2018-08-28 17:31:22 374

原创第一天-虚拟机+CentOS6.7+工具软件安装

第一天-虚拟机+CentOS6.7+工具软件安装第一天-虚拟机+CentOS6.7+工具软件安装本机硬件配置软件环境VMWare安装过程CentOS安装过程工具软件的安装及使用VMTools安装过程：测试拍摄快照平时关机Xshell、XftpXshell、Xftp软件配置使用NppFTP安装配置本机硬件配置联想小新潮...

2018-08-28 09:25:39 2877 3

转载第一篇博客 --- Typora的使用

第一篇博客 — Typora的使用第一篇博客 — Typora的使用菜单段落标题引注无序列表有序列表可选序列（目前还不知作用是啥？）代码块数学快表格脚注水平线链接超链接相关链URLs图片斜体文字加粗文字删除线下划线代码高亮菜单输入[toc]+enter,产生菜单，并且会自动更新段落enter键建立新的...

2018-08-25 21:29:51 1239

cry970795248的博客