大数据
文章平均质量分 77
xiaokui9
这个作者很懒,什么都没留下…
展开
-
获取hive数据表结构(表格形式和DDL形式)
1、通过hive对应的mysql数据库获取所有表及字段这种结果看起来很方便,还可以依据需求自行筛选输出结果,但结构内容不全。参考:1、原创 2021-06-08 15:16:36 · 2388 阅读 · 0 评论 -
docker相关命令
主要参考:https://www.runoob.com/docker/docker-command-manual.htmlhttps://www.cnblogs.com/duanxz/p/7905233.html总的来说分为以下几种:Docker环境信息—docker [info|version] 容器生命周期管理 —docker [create|exec|run|start|stop|restart|kill|rm|pause|unpause] 容器操作运维 —docker [ps...转载 2020-11-19 10:53:13 · 67 阅读 · 0 评论 -
storm日志级别配置,输出debug日志
最近写了app放到storm上跑,搜了好些都是改代码的,这个亲测好用。转自:https://blog.csdn.net/ynp507/article/details/84756394storm 打印debug日志storm采用了slf4j+logback方式,storm根路径下有个logback文件夹,下面有cluster.xml ,对storm日志的配置。想要输出debug模式的数据,修改Supervisors 下cluster.xml文件即可,<root level="DEBUG"&转载 2020-09-16 10:55:58 · 755 阅读 · 0 评论 -
hadoop fs 命令详情
转自:https://blog.csdn.net/qq_35573689/article/details/80519055在xhsell或者其他链接工具上输入hadoop fs 即可出现提示1 hadoop fs -ls <path> 列出指定目录下的内容,支持pattern匹配。输出格式如filename(full path)<r n>size.n代表备份数。2 hadoop fs -lsr <path> 递归列出该路径下所有子目录...转载 2020-09-08 16:53:54 · 1918 阅读 · 0 评论 -
mysql整个数据库迁移至hive:sqoop安装到配置、脚本使用全过程
最近需要使用hive做离线计算,但是现有的样例数据是mysql导出的sql文件。进到hive直接source导入是不行的,会报错,因为CREATE的语法貌似不太一样。找了一圈也没有直接能处理整个数据库迁移的,使用sqoop也需要一个一个表的导入,还好sqoop可以创建表,不然还得自己写创建表的语句就太崩溃了。sqoop会报很多错,一个个解决,用网上的说法和打地鼠样的,哈哈。解决方法在第二节配置里有...原创 2020-04-23 22:27:01 · 1008 阅读 · 0 评论 -
java使用JDBC连接hive相关配置
使用的hive版本是2.3.6,hadoop的版本是2.7.7。使用root用户安装及连接。1、hive配置hive-site.xml<property> <name>hive.server2.thrift.client.user</name> <value>hive2</value> <desc...原创 2020-04-17 18:02:18 · 1275 阅读 · 2 评论 -
hive查询语句
觉得写得比较简洁,留存一个https://blog.csdn.net/kumquatlemon/article/details/78528101Hive查询1、hive模糊搜索表show tables like '*name*';2、查看表结构信息desc formatted tablename;desc table_name3、查看分区信息show partitions t...转载 2019-04-09 17:38:57 · 3378 阅读 · 0 评论 -
Hbase的伪分布式安装
转自:https://www.cnblogs.com/ivictor/p/5906433.htmlHbase安装模式介绍单机模式1> Hbase不使用HDFS,仅使用本地文件系统2> ZooKeeper与Hbase运行在同一个JVM中分布式模式– 伪分布式模式1> 所有进程运行在同一个节点上,不同进程运行在不同的JVM当中2> 比较适合实验测...转载 2019-04-09 17:37:06 · 171 阅读 · 0 评论 -
在Linux下安装Maven,编译Apache Eagle项目
编译调试过程花了好几天,要做好心理准备,编译一次可能要花几个小时,特别是加上-X参数输出debug会更慢,不带还快点,每次编译出问题,调完后都得再从头开始编译,不然可能也出其他与全部编译不同的错误。带-e参数也行,可以输出完整的错误信息,编译时长会短点。后面会快一些,但至少也得半个小时起步。另外编译过程由于要下载很多文件,所以经常会卡在一个文件下载那,我是一般卡在一个文件下载的地方时,超过10...原创 2018-09-12 09:57:25 · 1115 阅读 · 0 评论 -
Apache Eagle代码逻辑分析--WEB页面调用REST接口代码逻辑
以siteList.html页面为例梳理流程1、页面调用来源main.htmlE:\code\eagle\eagle-master-0.5.0-SNAPSHOT\eagle-server\src\main\webapp\app\dev\partials\integration\main.html<li ng-class="{active: getState().index...原创 2018-09-05 15:39:20 · 413 阅读 · 2 评论 -
Apache Eagle代码逻辑分析--后台REST接口代码逻辑
SiteResource.java相当于 Dropwizard框架里的Resource类。 SiteEntity.java相当于Dropwizard框架里的Representation类,用来定义返回的结果的数据字段。 在JDBCMetadataStore.java里面绑定的SiteEntityServiceJDBCImpl和SiteEntityService相当于封装的底层数据库查询类。然后...原创 2018-09-05 15:38:56 · 297 阅读 · 0 评论 -
Apache eagle入门--代码主逻辑分析
由于项目使用apache eagle框架,所以学习了一下代码结构。由于还不会java,所以看得很艰难,只能大体先猜测了代码主结构,可能下面说的有不对的地方,望见谅。页面保存出错,编辑了好几遍,格式太难调了,不调了。。。凑合看吧,想看带彩色的在编译器里看吧,页面实在调不出来了。官方文档在:http://eagle.apache.org/docs/latest/getting-started/...原创 2018-08-30 19:38:02 · 1733 阅读 · 0 评论 -
Centos下kafka 单机配置部署详解
按照这篇把kafka安装好了,可用转载自:https://blog.csdn.net/laoyang360/article/details/51417009 前提:Linux版本:CentOS release 6.6 (Final) JDK版本:jdk-7u71-linux-x64.tar.gz zookeeper版本:zookeeper-3.3.6.tar.gz kafka...转载 2018-08-20 14:22:44 · 1854 阅读 · 0 评论 -
Kerberos安装及机制介绍
转自(摘录):https://blog.csdn.net/keda8997110/article/details/51217642一、Hadoop Kerberos安全机制介绍1. 背景在Hadoop1.0.0或者CDH3 版本之前, hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的,值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用户伪...转载 2018-07-27 09:44:20 · 6191 阅读 · 2 评论 -
大数据平台入门--hive安装(虚拟机安装单机版本)
所有版本的下载地址:http://archive.apache.org/dist/hive/网上太多版本,但是只是为了学习,本机虚拟机上安装一下试用,很多帖子里的配置是多台服务器的配置,因些整理了一个虚拟机本机版本的安装步骤。关于hive的一些概念,特别有一些配置文件里的内容,建议看一下书后再去看帖子,会容易得多(我看的是hadoop权威指南里面的hive部分)hadoop的安装,请参...原创 2018-07-20 10:27:27 · 5250 阅读 · 0 评论