![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
warm_days
这个作者很懒,什么都没留下…
展开
-
hadoop之map读取数据流程
hadoop之map读取数据流程原创 2017-06-29 11:01:19 · 1181 阅读 · 0 评论 -
利用CombineFileInputFormat合并小文件
利用hadoop自带的CombineFileInputFormat实现小文件合并(可减少map的数量)转载 2017-06-29 17:45:32 · 1510 阅读 · 0 评论 -
将多个小文件合并成大文件
有多个按时间戳(20177041735,20177041740)排序下来的文件,需要对这些文件按天(20170417)合并:/*原创 2017-07-04 17:47:11 · 2737 阅读 · 0 评论 -
安装cdh中遇到的问题
永久关闭 修改selinux的配置文件,重启后生效。 打开 selinux 配置文件 [root@localhost ~]# vim /etc/selinux/config 修改 selinux 配置文件 将SELINUX=enforcing改为SELINUX=disabled,保存后退出 1.hbase中Hmaster启动失败: 原因可能有:hbase权限不够 zk缓冲 解决方...原创 2018-02-26 11:17:39 · 336 阅读 · 0 评论 -
对hadoop中各个组件的简单描述
英语理解能力好的童鞋可以参考(这里有详细的各个hadoop组件的名称及用途): http://www.cloudera.com/documentation/manager/5-0-x/Cloudera-Manager-Managing-Clusters/cm5mc_hive_service.html#xd_583c10bfdbd326ba-204beb9-13ef1573a9e–7ff6__sec...翻译 2018-02-26 16:29:57 · 1587 阅读 · 0 评论 -
大数据开发过程中遇到的问题
1.由于内存不够引起 在linux下执行top命令查看各进程使用内存情况 如果发现没有进程耗费太大的内存 查看空闲内存:free -m 发现空闲内存所剩无几: buffers与cached占用了将近一半的内存 什么是buffer/cache? buffer和cache是两个在计算机技术中被用滥的名词,放在不通语境下会有不同的意义。在Linux的内存管理中,这里的buffer指L...原创 2018-03-01 15:48:38 · 5320 阅读 · 0 评论 -
格式化namenode后遇到的问题
org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode joinjava.io.FileNotFoundException: /dfs/nn/current/VERSION (Permission denied) at java.io.RandomAccessFile.open(Native Metho...原创 2018-07-19 15:05:02 · 1185 阅读 · 0 评论