Hadoop
三生三世
程序猿与汪
一枚专注于大数据领域知识的程序汪
展开
-
大数据环境问题linux的Centos7网络不通、Xshell无法远程连接虚拟机...等等一系列网络问题,看这篇文章就够了
三者一致解决搞定虚拟机的网络问题第一者:设置Contos7的网络配置sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33 第二者:将VM的虚拟网络编辑器下的子网、网关设置成Contos7的网络配置第三者:打开计算机本地的网络连接进入VMent8设置DNS服务器地址结束语完成上述三部,确定三部的子网,网关都是一致的即大功告成!!!...原创 2020-12-14 15:56:01 · 216 阅读 · 0 评论 -
hadoop-HDFS企业中负载均衡
在进行文件上传的时候会优先选择客户端所在节点,如果习惯性使用同一个客户端会造成客户端所在节 点存储的数据比较多。集群会有一个自动的负载均衡的操作,只不过这个负载均衡的操作比较慢。机器与机器之间磁盘利用率不平衡是HDFS集群非常容易出现的情况,例如:当集群内新增、删除节点,或者某个节点机器内硬盘存储达到饱和值。当数据不平衡时,Map任务可能会分配到没有存储数据 的机器,这将导致网络带宽的消耗,也无法很好的进行本地计算。当HDFS负载不均衡时,需要对HDFS进行数据的负载均衡调整,即对各节点机器上数据的存原创 2020-07-30 00:02:22 · 289 阅读 · 0 评论 -
Hadoop-HDFS常用API,我给封装好了相应的模板,使用哪个粘贴哪个即可
在 Java中操作 HDFS,首先要获得一个客户端实例(HDFS的所以操作都要依赖这个客户端实例来进行):Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf);1.建立文件夹/** * 创建文件夹 */@Test public void testMkdir() throws Exception { System.out.println(fs.mkdirs(new Path("/ccc/b原创 2020-07-29 23:54:02 · 184 阅读 · 0 评论 -
hadoop-HDFS流式数据访问
HDFS的文件系统输入输出流:FSDataInputStreamFSDataOutputStream本地文件系统输入输出流:FileOutputStreamFileIntputStream如果是上传:创建HDFS文件系统的输入流创建本地文件的输出流直接对接即可in = new FSDataInputStream(new Path(""))out = new FileOutputStream(new File(""))IOUtils.copy(out,in,4096,true)案例原创 2020-07-29 20:12:46 · 1057 阅读 · 1 评论 -
大数据疑难杂症-使用CDH启flume他有时候监听不到文件夹数据(CDH的一个bug)
放到一个shell脚本里面,加入到linux定时器当中去,定时的去启一下linux定时器原创 2020-06-03 22:30:24 · 574 阅读 · 0 评论 -
大数据基础-CDH平台搭建,项目开发的基石
统一版本linux统一使用centoscentos统一使用centos7.6 64位版本jbk版本jdk-8u141zk版本下载地址zookeeper-3.4.5-cdh5.14.2.tar.gz集群规划原创 2020-04-29 23:21:14 · 1371 阅读 · 0 评论 -
大数据疑难杂症-hadoop namenode状态 is safe mode(安全模式)
1.问题描述hadoop namenode状态 is safe mode(安全模式)虚拟机安装的机器,因为资源比较少,网络心跳发送比较慢,很容易进入安全模式2.解决办法hadoop dfsadmin -safemode leave使用命令解决之后,hbase HMaster进程才可以启动...原创 2020-06-01 15:32:37 · 347 阅读 · 0 评论 -
大数据组件-Hadoop安装,HDFS命令行操作,HDFS高级使用命令,HDFS元数据管理,HDFS API接口操作
目录hadoop安装1.hadoop集群规划2.上传apache hadoop包并解压3.修改配置文件(1)配置core-sit.xml(2)配置hdfs-sit.xml(3)配置hadoop-env.sh(4)配置mapred-site.xml(5)配置yarn-site.xml(6)mapred-env.sh(7)salve(8)其他操作4.配置hadoop环境变量5.启动集群(1)注意事项(...原创 2020-04-28 00:31:07 · 1197 阅读 · 0 评论