- 博客(6)
- 收藏
- 关注
RSS订阅转载 HBase优化总结
一.前述HBase优化能够让我们对调优有一定的理解，当然企业并不是所有的优化全都用，优化还要根据业务具体实施。二.具体优化1.表的设计1.1 预分区默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。复制代码public
2020-08-13 12:02:10
219
原创 HBase-java-API遇到的问题
在eclipse中java创建表格时，出现了以下错误：Unable to create ZooKeeper Connection java.net.UnknownHostException: node02原因：windows下开发HBase应用程序，HBase部署在linux环境中，在运行调试时可能会出现无法找到主机的情况解决办法：在C:\WINDOWS\system32\drivers\etc\hosts文件中添加如下信息：192.168.65.101 node01192.168.65.10
2020-08-11 15:42:33
377
转载 ssh免密码登陆
这里为了方便说明问题，假设有A和B两台安装了centos6.5的主机。目标是实现A、B两台主机分别能够通过ssh免密码登录到对方主机。不同主机的配置过程一样，这里介绍A主机的配置过程。事先在ＡＢ主机分别创建好要免密码登录的用户名，在/etc/hosts文件增加主机名和ip。修改hosts文件：vim /etc/hosts192.168.65.101 node01192.168.65.102 node021.环境设置1.1 关闭防火墙（root权限）centos6.5对网络管理相当严格，需要
2020-08-06 18:00:32
225
原创 使用hdfs 的 Java API创建目录显示java.net.UnknownHostException:解决方法
解决方法：我把core-site.xml和hdfs-site.xml文件放到工程下，然后new Configuration的时候会自动找到工程下的hdfs-site.xml读取，然而这个hdfs-site.xml中的node01，node02，程序不知道是什么东西，最后把hdfs-site.xml和core-site.xml中的node01 ，node02，node03，node04改为IP地址就解决了问题，不需要把集群端的core-site.xml和hdfs-site.xml文件改动，只改导入工程的co
2020-07-07 16:04:39
663
原创 安装不同版本JDK时出现的问题解决
1，安装好jdk后在cmd窗口输入Java 出现Error: could not open `C:\java\lib\amd64\jvm.cfg’解决方法：在系统变量中的path中根据C:\Program Files (x86)\Common Files\Oracle\Java\javapath进入到此路径然后删除此文件下的java.exe,javaw.exe,javaws.exe三个文件。2，删除上面的三个文件后还出现了错误：Error: Registry key ‘Software\JavaSo
2020-07-07 12:32:35
467
原创 hadoop高可用，多次格式化namenode节点后出现的一系列错误（仅自己可用，勿喷）
第一个问题：启动namenode后秒挂原因：元数据不统一在自己core-site.xml中配置的路径里找到：我的在node01（这是namenode）中的 /var/sxt/hadoop/ha/dfs/name/current的VERSION中查看以及在node02中（这里是datanode）中的/var/sxt/hadoop/ha/dfs/data/current的VERSION中查看看上面两张截图中的clusterID是一模一样的，当格式化namenode的时候，你里面的clusterID会
2020-07-03 13:01:31
1447
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人