程序人生-砥砺前行
记录自己程序生涯的点点滴滴
砥砺前行的疯子
这个作者很懒,什么都没留下…
展开
-
HadoopHA模式图解
HadoopHA图解原创 2019-06-24 18:06:49 · 1546 阅读 · 0 评论 -
HDFS读写流程>>图解+描述
读流程原创 2019-06-24 18:05:49 · 1528 阅读 · 0 评论 -
Hadoop思维导图
读流程写流程原创 2019-06-24 18:01:19 · 2848 阅读 · 0 评论 -
图解YARN任务调度,资源调度
yarn任务调度,资源调度1、客户端去ResourceManager取任务编号2、ResourceManager在HDFS上创建个以任务编号命名的目录3、客户端经行输入输出检查,计算切片信息等4、客户端把jar,conf,切片信息上传到HDFS以任务编号命名的目录5、客户端通知ResourceManager启动APPMaster进行资源调度6、ResourceManager选取一台有...原创 2019-05-24 23:36:21 · 4546 阅读 · 0 评论 -
yarn作业提交流程,及各个角色的作用
一、作业流程 1、 客户端到MR申请作业编号 检验输入目录是否存在 检验输出木木是否为空 计算切片信息(偏移量,数据大小,放在那些DN上) 2、 将conf,jar,切片信息发送到HDFS以作业编号命名的目录下 3、 向RM发送请求提交作业 4、 RM调度NM,让NM分配一个容器,运行MRAppmaster程序 5、 MRAppmaster收集HDFS上的...原创 2019-05-15 20:33:58 · 5000 阅读 · 0 评论 -
Scala中把list中的一个个对象当参数传入方法中
object Test { def main(args: Array[String]): Unit = { val list1 = List(1,2) val list2 = List(1,2,3,4,5) val list3 = List(1,2,3,4,5,6,7,8,9,10) test(list1:_*) test(list2:_*) t...原创 2019-05-24 23:54:35 · 4406 阅读 · 0 评论 -
Spark集群搭建,任务提交
搭建spark2.3.1基于HDFS_onyarn搭建sparkHA必须基于JDK1.8下面是每台节点上配置的角色node01 node02 node03 node04 node05master(active) worker worker 客户端 master(standby)1、解压 2、到/software/spark-2.3.1/...原创 2019-05-28 23:03:13 · 2043 阅读 · 0 评论 -
kafka搭建,及指令
a)kafka搭建 1、解压 2、修改配置/software/kafka_2.11-0.11.0.3/config/server.properties broker.id=0 log.dirs=/var/huawei/kafka-logs zookeeper.connect=node03:2181,node...原创 2019-06-02 23:27:32 · 1665 阅读 · 0 评论 -
Spark----RDD,DF,DS效率比较
今天听一个计数大牛说DS>RDD>DF 特写了代码测试下三个运行的速度,代码如下,运行结果在代码后面package com.huawei.spark.areaRoadFlowimport java.util.UUIDimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{Dataset, SparkSessi...原创 2019-06-12 20:26:31 · 2610 阅读 · 1 评论 -
Spark之Shuffle机制和原理+源码解析
一、什么是spark shufflea). 我们举个例子reduceByKey会产生shuffle对吧,此算子会把上一个RDD每一个相同key的value聚合在一起形成一个新的value,生成一个新的RDD,类型还是<key,value>形式,这样每一个key对应的就是一个聚合起来的value。b). 每一个key对应的value不一定在同一个partition上,也不可能在同一个...原创 2019-06-22 22:18:44 · 2156 阅读 · 0 评论 -
Cloudera-Manager安装配置详解
一、系统环境准备 1、网络配置 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=node03 vi /etc/hosts 192.168.126.101 node01 192.168.126.102 node02 192.168.126.103 node03 192.168.126....原创 2019-05-13 18:49:54 · 6132 阅读 · 0 评论 -
斐波那契数列
package com.huawei.GC;import java.util.Scanner;/** * 斐波那契数列 * * @author Lpf. * @version 创建时间:2019年5月10日 下午1:35:58 * @fib {1,1,2,3,5,8,13,21,24,45,69,114,183} * @位数 {1,2,3,4,5,6,7, 8, 9, 10,...原创 2019-05-10 14:48:58 · 4800 阅读 · 0 评论 -
冒泡排序,及改进方式,性能优化400%>>>附图解加源码
首先源码附上,源码中带有注释,看不懂没关系,源码后面附带图解,最后附上代码效率提升图源码如下:package com.huawei.GC;import java.util.ArrayList;import java.util.List;/** * @author Lpf. * @version 创建时间:2019年5月11日 上午10:33:51 */public class ...原创 2019-05-11 12:18:16 · 4405 阅读 · 0 评论 -
hbase性能优化完全版
HBase性能优化方法总结(一):表的设计表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这样当数据写入HBase时,会按照region...原创 2019-04-29 20:34:11 · 9998 阅读 · 0 评论 -
Hbase原理,Hbase架构,Hbase的流程处理——>>深入细读
图一图一:hbase的平面架构图角色划分 client: 包含访问HBase的接口并维护cache来加快对HBase的访问 zookeeper:保证任何时候,集群中只有一个活跃master 存贮所有Region的寻址入口。 实时监控Region server的上线和下线信息。并实时通知Master 存储HBase的schema和table元数据 HMaster:为R...原创 2019-04-27 15:23:00 · 6282 阅读 · 0 评论 -
hive深度优化,提高效率50%不再是幻想——>>>>>超级详细
#开启本地模式set hive.exec.mode.local.auto=true; #注意:表示加载文件的最大值,若大于该配置仍会以集群方式来运行 hive.exec.mode.local.auto.inputbytes.max默认值为128M #开启并行模式 当硬件资源足够,查询数量大,当各个子查询无关,可以考虑开启set hive.exec.parallel=true; #...原创 2019-04-27 13:06:26 · 6856 阅读 · 0 评论 -
hadoop_on_yarn+zookeeper+hive手把手一条龙教你搭建!!!
首先准备好zookeeper,jdk,hadoop,hive的安装包1.时间同步yum install ntp 启动NTP时间服务器:service ntpd start 设置NTP开机自动启动:chkconfig ntpd on 查看NTP是否正常运行:chkconfig | grep ntp 2、2.node1,2,3,4做免密钥登录 ssh-keygen -t dsa -P ...原创 2019-04-23 23:59:05 · 3433 阅读 · 0 评论 -
手把手教学storm分布式搭建,及java代码对集群的操作,其实流处理也很简单!!!!!
storm完全分布式搭建1、配置JDK2、配置zookeeperhttps://blog.csdn.net/lpf787887/article/details/893232273、将storm解压到/opt tar -zxf zookeeper-3.4.6.tar.gz -C /opt/4、配置:vi /opt/apache-storm-0.10.0/conf/storm.yaml...原创 2019-04-21 17:53:34 · 3856 阅读 · 0 评论 -
zookeeper安装>>客户端操作指令>>socket加zookeeper代码实现一步到位!!!!!
0、安装并配置jdk 1.71、下载zookeeper2、同步时间ntp3、解压zookeeper到/opt4、配置dataDirserver.x=nodex:2888:3888server.x=nodex:2888:3888server.x=nodex:2888:3888server.x=nodex:2888:3888server.x=nodex:2888:38885、创建...原创 2019-04-15 23:09:06 · 3913 阅读 · 0 评论 -
对hdfs集群上的文件进行处理(跟着我敲超级简单)>>附JAVA代码
1,打开hadoop-2.6.5\share\hadoop文件将下面的lib放入新建的项目中废话不多说附上源码粘贴即可package com.huawei.com;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;i...原创 2019-04-09 21:43:04 · 4323 阅读 · 0 评论 -
HA架构搭建hadoop详解,只需要跟着我的步骤按部就班>>Linux
1.时间同步yum install ntp 启动NTP时间服务器:service ntpd start设置NTP开机自动启动:chkconfig ntpd on查看NTP是否正常运行:chkconfig | grep ntp2.node1,2,3,4做免密钥登录ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub...原创 2019-04-08 22:45:22 · 4352 阅读 · 0 评论 -
一把手一把手教你在Linux上搭建hadoop
昨天晚上吃的东西不怎么卫生今天肚子很难受,还好放清明了,今天刚刚从医院回来,玩一个hadoop的分布式搭建再休息休息废话不多说1、网络配置好,关闭iptables防火墙,关闭selinux2、jdk1.7.0_67hadoop-2.6.5.tar.gz上传这两个包3、安装jdkrpm -ivh jdk-7u80-linux-x64.rpm4、编辑vi /etc/profile添加...原创 2019-04-05 14:30:18 · 4525 阅读 · 0 评论 -
redis分布式集群的搭建,手把手教学,照做包会>>linux上搭建
1、下载:redis-3.0.0.tar.gz2、上传,解压tar -zxf redis.tar.gz3、编译安装makemake install PREFIX=/opt/redis34、添加REDIS_HOMEexport REDIS_HOME=/opt/redis3export PATH=PATH:PATH:PATH:REDIS_HOME/bin5、cp /root/red...原创 2019-04-17 21:51:17 · 3677 阅读 · 0 评论 -
最经典的大数据案例解析(附代码)
首先我们来说说需求假设以上就是我们需要处理的数据,我们需要计算出每个月天气最热的两天。首先我们对自己提出几个问题1.怎么划分数据,怎么定义一组???2.考虑reduce的计算复杂度???3.能不能多个reduce???4.如何避免数据倾斜???5.如何自定义数据类型???----记录特点每年每个月温度最高2天1天多条记录怎么处理?----进一步思考年月分组温度升序...原创 2019-04-13 22:45:30 · 14792 阅读 · 0 评论 -
hadoop源码解析一步到位
YarnChild,由NodeManager通过脚本启动YarnChild的main方法中调用Task的run方法task可以是maptask也可以是reducetask163 taskFinal.run(job, umbilical); // run the task在MapTask中,run方法调用了它自己的runNewMapper方法784行MapTask调用了mapper的run...原创 2019-04-12 08:58:06 · 9085 阅读 · 0 评论 -
HA on yarn的搭建流程及JAVA代码对HDFS上大数据的处理(附代码)
在HDFS-HA的基础上搭建:1.复制一份配置文件cp mapred-site.xml.template mapred-site.xml2.对etc/hadoop/mapred-site.xml添加classic经典的老版本 没有将资源调用和内存调用分开local本地客户端模拟进行yarn<.configuration><.property><.n...原创 2019-04-10 22:53:06 · 4319 阅读 · 0 评论 -
Linux上redis的安装及客户端的操作超级详细,无脑学会
1、安装gcc tclyum install gcc tcl -y2、上传redis的tar包 2.83、解压tar -zxf redisxxx.tar.gz4、进到redis目录执行编译:make5、安装:make install PREFIX=/opt/redis6、配置REDIS_HOMEexport REDIS_HOME=/opt/redisexport PATH=PAT...原创 2019-04-16 23:02:14 · 6496 阅读 · 0 评论 -
Linux中的shell内核for,while,管道深入理解>>你离大牛就差一步之遥
抛出一个问题Q:循环遍历文件每一行:流程控制语句定义一个计数器num打印num正好是文件行数1.首先我们创建一个名字为data.txt的文件存放数据如下**在这儿我给大家介绍5中方式,由浅到深,学会这五种方式,Linux中的shell脚本基本没有能难住你的了由于粘贴指令过来格式会乱,我这儿就放截图了,方便大家理解,有兴趣的朋友可以自己敲一遍,出现问题可以留言交流,关注我每日分享Li...原创 2019-04-02 23:09:01 · 4497 阅读 · 0 评论 -
Linux>>yum仓库安装,掌握了Linux配置易如反掌
今天公司来了个实习生,linux的仓库都不会配置,晚上抽空写下Linux的仓库配置只是一个仓库,放的是rpmyum是对rpm的一种包装使用形式仓库是静态的: 提供下载能力>>有以下三种仓库webserver http://ftp://file://放东西:1)Packagesrpms2)metadata仓库有哪些包版本依赖关系客户端:1)取回metada...原创 2019-04-01 22:40:47 · 4579 阅读 · 0 评论 -
工作中Linux常用指令整理
df -h查看文件系统挂在(u查看系统内存是否被占满)du -s ./(./代表当前路径)给出的目录总大小du -s ./*给出给出目录下每个项的自己大小du -a ./给出目录及子目录每一个项的大小pwd输出当前目录echo String/$PATH输出String / 或者输环线变量中的pathcd / cd ~ 回到当前用户的工作空间mkdirmkdir ...原创 2019-03-30 17:56:08 · 8534 阅读 · 0 评论 -
冒泡排序详细分析>>JAVA
冒泡排序(Bubble Sort),是一种计算机科学领域的较简单的排序算法。它重复地走访过要排序的元素列,依次比较两个相邻的元素,如果他们的顺序(如从大到小、首字母从A到Z)错误就把他们交换过来。走访元素的工作是重复地进行直到没有相邻元素需要交换,也就是说该元素列已经排序完成。这个算法的名字由来是因为越大的元素会经由交换慢慢“浮”到数列的顶端(升序或降序排列),就如同碳酸饮料中二氧化碳的气泡最...原创 2019-04-07 13:00:35 · 4354 阅读 · 0 评论 -
插入排序>>代码实现,深度理解
今天中午正准备午休下趴在电脑桌前楼上公司装修的声音让我久久不能入眠。。。。大家都玩过斗地主吧,一般我们抓好牌,都要对牌经行一系列的排序,从小到大,从大到小都行就像如下图片代码实现过程如同下图如图好了废话不多说,先附上源码有不清楚的地方可以留言package com.huawei.sort;import java.util.ArrayList;import java.util...原创 2019-04-03 14:04:23 · 8832 阅读 · 0 评论 -
回顾>>JAVA归并排序(堆排序)
归并排序1.首先是两个有序的数组2.我们定义一个长度为A和B数组长度和的数组C3.将A,B,C三个数组传入归并算法中当A和B的数组下标都小于他们数字长度时先取出A[1]和B[1]进行比较,将小的那个值放入C数字中再将取出数字的数组和C数组下标++当跳出次循环时,再看A或B数组那个下标还未到达他们的数组长度-1时再次对该数组进行循环与赋值当两次循环完毕后,C数字中就已经为AB数组排...原创 2019-03-31 14:32:27 · 4423 阅读 · 0 评论 -
回顾>>JAVA[快速排序算法]原理附实现代码
快速排序,核心思想是把一串数字通过随机取的一个KEY划分为左边和右边的两部分,左边的都小于KEY右边的都大于KEY1.递归函数需要三个值,一个是排序的数组,一个是起始值start,还有一个是你需要排序到的最后一个我们就叫end2.第一次进入函数,start为0,end为数组长度-1,再拟定一个key为数组的第一个值,就是arr[start]3.然后从右边开始一个一个和key经行比较,如果是比...原创 2019-03-31 11:57:57 · 4282 阅读 · 0 评论