BigData
灰二和杉菜
本人2020.4已经弃坑程序员去做生意去了。不能回复见谅!
展开
-
maven工程依赖本地其他工程
问题描述:如果一个maven工程中依赖了另一个本地工程,但是又不能发不到中央仓库,要如何依赖到该工程呢?解决方法:在该工程下执行mvn clean install 即可[INFO] Installing /Users/liyuhuan/code/ipdatabase/target/ipdatabase-1.0-SNAPSHOT.jar to /Users/liyuhuan/.m2/repos...原创 2019-05-15 17:53:15 · 3897 阅读 · 0 评论 -
HBase平滑重启-不影响业务
hbase 在不影响业务的情况下,如何安全平滑的升级参数并重启呢滚动重启regionserver./graceful_stop.sh --restart --reload --debug --maxthreads 10 {regionserverhost}滚动重启master主master:./hbase-daemon.sh stop master./hbase-daemon.sh...原创 2019-07-16 16:56:28 · 1832 阅读 · 0 评论 -
Hadoop集群写数据异常--timeout while waiting for channel to be ready for write
今天kylin写数据到HBase到HDFS是报错:timeout while waiting for channel to be ready for write具体异常如下:2019-07-05 11:18:10,862 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.146...原创 2019-07-05 15:36:31 · 2377 阅读 · 0 评论 -
大数据面试--腾讯电话面试
1.自我介绍2.在简历中挑2个自己任务有代表性的项目做介绍,架构介绍,自己承担的职责,遇到的挑战,有哪些困难。3.Hive on spark和 Impala对比,调研时后详细的数据对比,为什么选择了Hive on spark4.Hive on spark遇到哪些问题和挑战5.Calsite的原理,抽象语法树的解析和生产总结:最后面试官说和招聘需求不符合,就结束了,第一次腾讯面试就凉了,还...原创 2019-06-29 23:18:35 · 2825 阅读 · 2 评论 -
HBase跨集群迁移
背景:假设有hbase1和hbase2两个集群,现在需要将hbase1的表迁移到hbase2,而且不能停止服务的运行。准备工作开启hbase.replication功能设置hbase-site.xml中hbase.replication为true开启待复制集群的Yarn计算,后续拷贝数据基于MR开始迁移1.hbase2集群建表(click-count’在hbase1是已经存在的...原创 2019-07-09 23:37:01 · 1747 阅读 · 1 评论 -
HBase Snapshot 迁移: snapshot.ExportSnapshot: Snapshot export failed
测试HBase数据迁移时出现MR OOM问题,在这里记录一下解决方法,以防忘记异常信息./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot click-count-snp -copy-to hdfs://172.16.201.42:8020/hbase -mappers 10 -bandwidth 20201...原创 2019-07-09 19:25:15 · 2291 阅读 · 0 评论 -
Hadoop DataNode 下线操作
hadoop datanode如何安全的下线,不影响线上数据,在这里记录一下备忘。前提在namenode机器的hdfs-site.xml中必须包含以下配置,在standby namode同样加上: <property> <name>dfs.hosts.exclude</name> <value>${hadoop_h...原创 2019-06-26 14:22:36 · 3059 阅读 · 0 评论 -
Apache HBASE 下线RegionServer
前言假如hbase机器出现问题,需要对hbase的regionserver进行下线,如何平滑下线且不影响服务正常运行下线步骤cat ${HBASE_HOME}/conf/regionserver文件 找到要下线的regionserver host cd ${HBASE_HOME}/bin./graceful_stop.sh ${hostname}会逐渐将region迁移到其他reg...原创 2019-06-25 19:37:07 · 1185 阅读 · 0 评论 -
Apache Kylin清理无用的HBASE Table
前言由于kylin在每次构建cube后都会生成新的hbase table , 所以运行一段时间后,hbase region数量会上涨厉害,所以需要定时对kylin的hbase 数据进行清理清理步骤cd ${KYLIN_HOME}/bin查看kylin可清理数据 ./kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete fa...原创 2019-06-25 19:31:56 · 1555 阅读 · 0 评论 -
mysql 添加用户并授权
给mysql数据库添加一个用户并授权,在这里记录一下:例子是创建了一个xiaoming账号,密码123456,可以访问wangzhe库创建用户:create user xiaoming identified by ‘123456’;授权:grant all privileges on wangzhe.* to xiaoming@’%’ identified by ‘123456’;刷新...原创 2019-05-29 15:25:15 · 1631 阅读 · 0 评论 -
NodeManager 下线
hadoop nodemanager如何安全的下线,不影响线上数据,在这里记录一下备忘。1.配置在yarn-site.xml文件中增加以下配置,avtive和standby ResourceManager都需要添加。<property> <name>yarn.resourcemanager.nodes.exclude-path</name> ...原创 2019-08-15 11:08:17 · 1309 阅读 · 0 评论