自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

上海菁数信息技术

专注于大数据开发 (spark hadoop hive hbase )

  • 博客(6)
  • 资源 (3)
  • 问答 (1)
  • 收藏
  • 关注

原创 datax hbase writer versionColumn/rowkeyColumn相关配置的解释

官方文档很多地方不说人话 做个简单解释versionColumn描述:指定写入hbase的时间戳。支持:当前时间、指定时间列,指定时间,三者选一。当前时间 不配置指定时间列index:指定对应reader端column的索引,从0开始,value:需保证能转换为long,若是Date类型,会尝试用yyyy-MM-dd HH:mm:ss和yyyy-MM-dd HH:m

2017-03-31 17:08:50 2851 1

原创 presto最新版本0.172下载地址 2017-4-10 Facebook更新

同样的即席查询(ad-hoc)使用场景,技术选型上面主要对比了impala和prestoimpala是C家的产品,Apache在孵化中的项目,成熟度而言大优于presto但是impala对于CDH的生态在这个阶段依赖太强,性能上做过测试,两者差距不大,个人的应用场景主要是对hive数据的即席查询,所以有的场景需要用到presto国内大厂京东对presto的应用比较多,也提供了相

2017-03-31 11:00:55 3541

原创 使用presto调用hive

启动hive metastore服务hive --service hivestore &关于最后的一个&,告诉小白一下是后台运行的意思presto配置使用hive插件presto所在的文件中etc(自建)的catalog(自建)中hive.properties(自建文件)中配置connector.name=hive-hadoop2#这个连接器的选择要根据自身集群情况结合插件包的

2017-03-28 14:48:18 10580

原创 HBase使用已有的一套zookeeper

如果多个应用用到了zookeeper服务,可以使HBase使用集群中已有的一套zookeeper,不使用自己独占的zookeeper服务将conf里hbase-env.sh的export HBASE_MANAGES_ZK=flase官方原文如下:To point HBase at an existing ZooKeeper cluster, one that is not

2017-03-27 08:59:34 2241

原创 hbase更换版本作业

把新版本的hbase配置好打包成tar.gz scp分发给所有的slavessh到slave节点:ssh slave-hadoop-删除原来的hbasesudo rm -r /usr/local/hbase将配置的hbase解压到指定位置sudo tar -xvzf ~/Documents/hbase.tar.gz -C /usr/local/ 更改所有者为hado

2017-03-24 14:25:23 961

转载 Office 2016 Pro Plus \ Project 专业版 \ Visio 专业版 \ 64 位vol版本方便KMS小马oem

在使用上,零售版和批量授权版并没有区别,只是授权方式方面的区别,相对而言,VOL 版的更容易激活一些,其他并没有什么区别了。有需要的可以在下面下载:(以下均是 64位VL 版)版本:Office 2016 Pro Plus  64 位文件名:SW_DVD5_Office_Professional_Plus_2016_64Bit_ChnSimp_MLF_X20-42426

2017-03-22 09:09:51 21116 1

qt-unified-windows-x86-4.1.1-online.exe

qt6开源版本的win安装包

2021-08-03

spark 2.3.1 支持Hive Yarn Hadoop 2.7 已编译版本

spark 2.3.1 支持Hive Yarn Hadoop 2.7 已编译版本 可以直接使用

2018-07-27

python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错

python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错 使用这个修改完成的Hbase类替换掉原来的Hbase类问题全部解决 主要是因为python版本兼容性带来的问题

2017-11-16

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除