- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 (maven学习一) 更新maven工程
当在maven的setting.xml文件中更改maven本地仓库后，需要更新maven工程，eclipse中的操作如下：右击工程->maven->Update Project,然后选择要更新的maven工程，点击ok。但是在更新过程中可能有的jar包无法移动到新的本地仓库，此时删除原来的本地仓库和新本地仓库下的该jar包所在的文件夹， 重新从远程仓库下载即可
2017-11-23 18:43:16
2646
原创 (hbase开发 二) 使用maven配置CDH开发环境
由于hadoop生产集群使用的是CDH,所以在用java api开发程序的时候必须使用CDH版本的jar包。从maven中央仓库镜像地址(http://mvnrepository.com/)是能够找到CDH hadoop和hbase的jar包的，这些jar包可以从镜像站手动下载，但是如果用maven在eclipse上配置CDH开发环境，这些jar包却无法自动下载，包括我将setting.xml
2017-11-23 18:27:17
3811
4
原创 (hbase开发 一) Failed to identify the fs of dir hdfs://linuxtbj:8020/hbase/lib, ignored java.io.IOExcep
在使用 java api 开发hbase过程中，遇到了如下的警告：WARN [main] util.DynamicClassLoader: Failed to identify the fs of dir hdfs://hostname:8020/hbase/lib, ignoredjava.io.IOException: No FileSystem for scheme: hdfs
2017-11-23 15:09:47
5054
原创 (hadoop运维 三) hadoop集群负载均衡
当hadoop集群中增加节点、删除节点或者某个节点磁盘占用率比较高的情况下，节点之间的存储就会不均衡，此时就需要对集群进行重新的负载均衡，在做负载均衡之前，首先要调整dfs.balance.bandwidthPerSec参数，该参数表示集群负载均衡的带宽，我的CDH集群中默认为10M/S,我一般将它设置为100M/S。集群默认的threshold=10。如果已经搭建了cloude-manage
2017-11-16 17:03:57
1682
原创 (hadoop运维 二) 避免hadoop节点使用swap分区
Linux系统中当内存使用到一定程度后会使用swap分区，这是由/proc/sys/vm/swappiness文件中的vm.swappiness 参数进行控制的，linux默认vm.swappiness=60但是对于hadoop集群来说，如果使用系统默认设置，会导致swap分区被频繁使用，集群会不断发出警告。所以在搭建cloudera-manager的时候，会建议调整vm.swappin
2017-11-16 16:41:43
3271
原创 (hadoop运维 一)cloudera-scm-agent dead
CDH集群中的某个的cloudera-scm-agent当掉之后，sever节点就无法收到从节点的报告信息，此时cloudera manager界面就会有好多报红。重启cloudera-scm-agent服务如果报错cloudera-scm-agent dead but pid file exists,那就 先ps -ef | grep cloudera-scm-agent，然后kill掉
2017-11-15 17:06:33
3006
原创 两个haoop集群之间迁移数据：
1、迁移之前需要把两个集群的所有节点都互通/etc/hosts文件（重要，包括各个数据节点）2、配置当前集群主节点到老集群各个节点的ssh免密登陆3、由于老集群是HDP2.7.1，新集群是cdh5.8.5,版本不同，不能用hdfs协议直接拷贝，需要用http协议即不能用：distcp hdfs://src:50070/foo /user**而要用：distcp hftp://src
2017-11-07 14:12:59
2828
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人