Hbase导入外部数据

于 2019-07-23 11:24:14 发布
阅读量177 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41794285/article/details/96977471
版权 


//导入数据 配置env.sh文件  指定列族，行键，表名

hadoop jar /usr/soft/hbase-1.3.5/lib/hbase-server-1.3.5.jar importtsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,tel:telephone,date:regdate customer1 /hbasetest/hbase_import_data.csv

修改hadoop下env文件 加入hbase库
在这里插入图片描述

语兴数据
关注
专栏目录
博客
当你看到这，才说明你真的懂数仓
02-05 366
我发现有的公司把宽表和明细层多同步一份到集市层给应用侧直接调用。不允许应用方调用仓内明细表和宽表的。大厂也这么搞吗？
博客
必读：揭秘HR心理，高效制胜校招实习简历！
02-04 391
很多同学之前私信过语兴简历修改问题，这期我找几个特定典型问题说。
博客
一文带你了解数据岗位：解锁数据世界的秘密
02-01 206
可能很多人不清楚数据仓库具体是要做什么内容，为了方便理解我们把数据仓库理解为大型餐厅中的仓库及配菜。（1）将数据从各类系统接入，如关系型数据库，日志系统，客户端，服务端等（就像把鸡牛羊从牧场买来，把菜从地里拔出来）简称数据传输（extract）。（2）将数据按照数据建模的方式，进行清洗，转化（就像把菜洗干净，肉切好，放在不同的货架上）简称为数据转换（transform）。
博客
数据域，主题域，傻傻分不清？
02-01 409
在数据的舞台上，划分数据域就像是一场魔法表演✨。这个魔法的目的是为了让整体数据管理变得轻松、查找变得得心应手，使业务环节像魔法般独立运作。这不仅让数据仓库和数据分析小伙伴轻松规划自己的领域，也让下游业务使用变得更加清晰和高效。
博客
我是职场小白，如何能够平稳度过试用期？
01-29 280
2022整年可能大家在各个信息平台都有看到应届、试用期毕业（cy）情况，收集不少信息后发现数据这边毕业的也不少，尤其是数据分析/数据仓库侧（由于业务线被砍，人员使用成本太高），本节课针对于试用期该如何卷赢其他人，拿到好的试用期评价提出一些方法（当然也存在个人做的很好，但业务线亏损裁员，这不能怪个人能力差，被裁后立马写简历找下家）
博客
学了这一篇，你对Hive优化会更上一层楼
01-29 220
问题1：– 所有节点的总（默认）限制为1000个动态分区– 默认值为每个节点100个动态分区我看某个博客上：#表示每个maper或reducer可以允许创建的最大动态分区个数这种说法对吗？如果正确，是不是:意味着每个节点上只能有1个maper或reducer问题2、输入的数据量比较大，比如1T数据，此时启动2000个Mapper任务去读取，这些Mapper任务的并行度是多少呢，如何确定的？开启动态分区后，这个任务的小文件数是如何确定的呢？
博客
回响科技二面面试题解答
01-29 577
1、你们的数仓中DWD层为什么要划分数据域？划分数据域之后会对ADS层造成什么影响？是可以提效还是可扩展性强？你们是如何考虑的呢？2、AZkaban和dolphinScheduler的区别是什么？如果选型会从哪几个方面来考虑呢？3、数仓中数据的幂等性如何实现？就是如何保证数仓中的数据不丢失和不重复？4、零点漂移问题如何解决？5、你们是如何统一指标口径？
博客
数据能给业务带来多大价值？
01-29 203
每次完成提数或报表后，怎么知道提供的数据能给业务带来多大的效益或帮助？想追踪数据的业务价值，有什么好的方法论嘛？
博客
字节跳动二面经典题目
01-29 220
语论即为「语兴式论语」，以语录体及对话的形式，沉淀球友实际工作学习中存在的疑难杂症解答，希望能够更好的帮助到球友和粉丝。欢迎关注公众号：语数。
博客
今年这个行情，我劝你早点准备校招
01-29 1289
近年来，高校毕业生的数量快速增长，从2022年的1076万人到2023年的1158万人，预计2024年将达到1187万人。而秋季校园招聘提前批自7月启动，已如火如荼地进行了两个多月。暑期结束，也宣告着秋招的爆发期即将开始。一家又一家企业开启了校园招聘，我还没开始准备，因为无从下手，可又想要毕业时能拿到一个满意的Offer。这样的情况，我该怎么办？本人作为24届毕业的硕士生，从7月初至9月中旬参加秋招，目前已收到了4家大厂的意向，其中技术面试参与30余场（其中一面挂2场 二面挂0场 三面挂2场）
博客
深入浅出数据产品与指标体系
01-29 840
快速支持报表开发，主要在于前期数分与数仓沟通时候，数分能清楚到底要看什么方向指标，以及北极星指标拆解后的口径内容（一定要确定指标口径，如果只是看看，可让他们自己写sql加工），当确定完指标后数仓可优先设计ads模型划分主题先给到数分侧空表让他们把看板搭起来，如果数据还没接入可设计好ads 后开始接入，后续等数分将看板搭建好后数仓这边也几乎完成ads数据模型开发，共同抽1天去测试即可，当出现开发加测试时间很紧迫的时候，可优先做ods 穿透 后续补dwd dws。应球友建议，将语数精选改为语论，语论即为。
博客
当你要做数仓汇报时，应该怎么讲故事？
01-29 785
语数精选来源于语数社区星球球友提问，主要沉淀一些大家工作和学习过程中存在的一些共性问题，希望能够更好的帮助到球友和粉丝。欢迎关注公众号：语数。
博客
一文掌握0基础如何体系化学习数仓
01-29 937
语数精选来源于语数社区星球球友提问，主要沉淀一些大家工作和学习过程中存在的一些共性问题，希望能够更好的帮助到球友和粉丝。欢迎关注公众号：语数。
博客
以数仓视角切入学习路线，大数据真正需要学习的内容有哪些？
01-29 929
语数精选来源于语数社区星球球友提问，主要沉淀一些大家工作和学习过程中存在的一些共性问题，希望能够更好的帮助到球友和粉丝。
博客
面试官告诉你：大数据究竟该怎么学
01-29 313
博客
揭秘：数仓开发面试真正需要注意的点
01-29 804
针对不同面试我们回答的内容也不同1面：mentor面考察基础，可以把你从项目背景到项目整体过程和细节以及成果说出，让面试官知道你在做什么。2面：leader 面考察基础同时考察场景应对能力，可以讲一讲项目整体背景以及开发流程，细节可以不说，最终讲一下结果，这里记得准备一个你在项目中遇到的难点还有未来规划。
博客
数仓建设学习路线（五）-数据质量保障
01-25 406
如果下游血缘存在不是自己的表/报表，需要在相关业务群里说一下/找到下游表owner/报表owner发送通知，让下游owner进行修改，如联系不上需要向owner的leader说明问题，并且让下游表/报表的owner当天回复一下受不受影响，不回复则对方承担问题责任，如果对方不接受修改方案，需要双方约定一下修改内容、修改日期，重定方案。数据质量，意如其名，就是数据的准确性，他是数据仓库的基石，控制好数据质量，是做数据仓库基本要求，也使得下游业务方对数据用的放心。-->数据初始化(线上环境)
博客
我在面试时写了这个，面试官对我刮目相看
01-25 407
对用户和新的日期进行分组聚合，得到用户和新的日期分别为多少天。作为资深面试官，孟哥常提及SQL的重要性，下面将通过两道SQL的讲解，帮助大家更好的理解题目的含义，更好的在实际生产场景中实践起来。只需要把今日登录的用户和未来第七天登录的用户的去重集合，取交集便可,取完交集再除以今日登录的用户数便为留存率。只需要把今日登录的用户和未来七天登录的用户的去重集合，取交集便可,取完交集再除以今日登录的用户数便为留存率。口径确认除了七日和第七日的处理外，还有七日和自然周的区别，还有的会牵扯到周同比，周环比。
博客
数仓建设学习路线（四）-指标体系建设
01-22 708
与下游（风控/bi）达成合作，保障指标建设时口径的统一，完成指标覆盖，提升复用性，通过可视化方式提升查询效率。
博客
数仓建设学习路线（三）元数据管理
01-22 544
元数据管理
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值