![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
泪三国云无痕
一路前行,终将看见你
展开
-
solr生成关联表索引
因关系表数据已过亿,用户表数据也接近六千万,直接查询数据库,对数据库压力较大,所以用solr生成索引来优化不过关联表生成索引速度比单表索引生成速度要慢许多,,很多同学遇到建立关联表的索引的时候,子实体更新了信息之后父类对应的索引数据并不会更新,这里需要用到parentDeltaQuery属性,把从子类抓取的更新的数据,同步到父类里面去,代码如下entity name="zbuserre原创 2018-01-13 17:32:01 · 735 阅读 · 0 评论 -
java对hbase的增删改查操作
直接上代码吧,conf里面的是配置,看个人而异,默认zookeeper.znode.parent=/hbase,这个不对的话会报空指针package hadoop.vzan.util;import java.io.IOException;import java.util.Map;import org.apache.commons.io.IOUtils;import org.ap原创 2018-01-22 18:13:53 · 976 阅读 · 0 评论 -
kafka删除topic
运行./kafka-topics.sh -delete -zookeeper [zookeeper server] -topic [topic name];如果kafka启动时加载的配置文件server.properties没有配置delete.topic.enable = true,那么此时的删除并不是真正的删除。而只是把topic标记为:marked for deletion,此时就需要执行下...原创 2018-03-28 15:13:18 · 298 阅读 · 0 评论 -
使用ambari的hadoop遇到的问题集合
1.虚拟机安装ambari集群的时候,不要开文件共享,它自动安装的文件有一个是在mnt/hgfs下,开了共享文件会发生位置冲突,报权限错误.[error13] 2.从机上无需配置数据库,但是需要配置jdk环境和repo镜像. 3.主机配置数据库的时候注意设置用户权限,任何人可以在任何机器上访问该数据库 sql语句:GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ ...原创 2018-04-17 14:23:04 · 3641 阅读 · 4 评论 -
The group member's supported protocols are incompatible with those of existing members
启动kafka消费者报错: Exception in thread “Thread-2” org.apache.kafka.common.errors.InconsistentGroupProtocolException: The group member’s supported protocols are incompatible with those of existing members....原创 2018-03-29 11:37:14 · 3851 阅读 · 4 评论