xiyuan_123的博客

原创 大数据技术框架

数据采集传输:flume kafak,sqoop,logstash,datax数据存储:mysql,hdfs,hbase,redis,mongodb数据计算:HIVe,tez(基于内存),spark,flink,storm数据查询:presto,druid,impala,kylin数据可视化:echarts,superset,quickBI,dataV任务调度:azkaban,oozie集群监控:zabbix元数据管理:atlas数据质量监控:griffin...

原创 大数据框架的常用端口号

原创 hadoop上传数据图解

图解Hadoop文件的上传如图所示最开始所有的datanode节点会想namenode进行注册汇报告诉namenode自己还活着可以分配任务给自己之后客户端会向namenode发送自己要上传a.txt的请求,这时客户端已经根据文件的大小进行了切块,发送请求时也包括了自己切割的块数信息namenode检查权限是否通过检查通过会将ok的信息返回给客户端客户端收到ok的信息后向namenode发送上传第一块数据的请求,namenode返回第一个数据块的元数据包括切块要存储的哪几个datanode并将块

原创 hadoop下载数据图解

hadoop下载数据[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8t1Dc4vh-1597496527148)(/Users/xiyuan/视频资料/DOIT17-DAY05-HADOOP/下载数据流程.png)]客户端下载数据的时候首先会想namenode发起请求我要下载了namenode在收到客户端的下载请求后将数据的元数据信息和请求成功的信息一同返给客户端客户端收到元数据的信息后会将信息进行解析,然后根据元数据信息请求最近的一个机器下载第一块数据之后将下载的

原创 使用java的api操作hdfs在idea上

使用java的api操作hdfs在idea上代码规范auther data description注释要写如何写hdfs的程序:1.hdfs在哪用户名 2.获取一个代表分布式文件系统的对象 3.对象方法4.关闭对象1配置信息对象conf=new configration();配置文件对象conf.set("副本,“8”);2获取hdfs的对象参数一 urI hdfs://hadoop:8020参数2 配置信息参数3 用户名new filesystem(不能new就是静态方法)Filesy

原创 运算符

运算符1.算数运算符加减乘除四则运算，遵循四则运算法则加+，1，加法运算2，表示整数3，字符串连接（字符串与任意类型相加都是字符串，是作为字符串拼接进行计算）减-，1，减法运算2，表示负数乘*，1，乘法运算除/，1除法运算，如果是两个int类型进行运算只能得到整数的商取余%两个整数相除得到的结果为余数自增++，自增在前面时先自增然后在进行其他运算，再后面时先进行其他的运算再 自增自减–自减同理int a = 4;int b = (a++)+(++a)+(a

原创 标识符和数据类型

一，关键字关键字的实质是java环境里这些单词有一定的功能定义，并且在高级编辑器里有使用特殊的颜色表示出来，有一定的纠错能力。二、标识符标识符的本质就是命名，命名首先是不能够和java中的关键字和保留字相同，其次符号只能使用$和下划线，可以使用字母和数字，数字不能开头，如果不遵守这些规则就会报错之后是约定俗称的命名规格，这样方便其他人进行阅读代码类和接口，使用大驼峰的方法，每个字母的首字母大写方法和变量，小驼峰，第一个单词的首字母小写，其他单词的首字母大写包就是域名进行反转，包的本质就是文件件

原创 计算机概况和Java概况

day11.计算机概况软件和硬件构成，计算机的冯诺伊曼结构运算器，控制器，存储器，输入设备，输出设备，这是硬件部分，软件部分由系统软件和应用软件构成，系统软件又叫os，包括dos，unix，linux，mac，windows，ios，android，应用软件又叫app，wps、qq等，人与计算机硬件的桥梁就是计算机软件，因此软件是人机交互的工具，计算机最底层的语言为机器语言，由0和1构成，再上层为汇编语言，常用的高级语言有c语言java，c++，，c#，scala，php易语言2.dos命令根据软件