![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据组件命令介绍
文章平均质量分 59
kafka spark redis zookeeper 详细命令
XiuL
这个作者很懒,什么都没留下…
展开
-
Hive核心
Hive的客户端和服务端客户端bin/hive 服务端元数据服务:nohup hive --service metastore 2>&1 &jdbc服务:nohup bin/hive --service hiveserver2 2>&1 &通过命令执行 使用-e参数执行hql语句: bin/hive -e "use test;select * from student;" 使用-f参数通过指定文本文件执行hql语句: bin原创 2021-03-23 17:24:08 · 147 阅读 · 0 评论 -
原生java操作mongo根据条件删除文档中的某一个字段
1.需求1.1mongo文档结构{"_id" : ObjectId("5b8d04061515e8200e4403ad"),"name_id" : NumberLong(46),"value_id" : 2,"age_value" : NumberLong(97),"sex_type" : NumberLong(4),"mydata" : { "mydata_11" : "", "mydata_1xxx" : 5.0, "mydata_3" : 0.6, "mydata_2" : "原创 2020-12-12 11:56:39 · 950 阅读 · 1 评论 -
Hbase Java API
1.maven依赖引入CDH中央仓库,以及hbase-client的依赖 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos</url> </repository>原创 2020-11-10 11:16:45 · 73 阅读 · 0 评论 -
Hbase的Shell操作
Hbase单机部署1.进入 Hbase的shell客户端cd hbase-2.2.4/bin./hbase shell2.对表的操作1.创建表 create 'tname','family_id','family_address' 语法: create 表名,列族名...2.查看所有的表 list3.查看表的描述信息 desc 'tname' 语法: desc 表名4.删除表的一个列族 alter 'tname','delete'=>'family_id' 语法: al原创 2020-11-10 10:36:26 · 90 阅读 · 0 评论 -
Hbase单机部署
1.部署环境说明1.1 服务器1.操作系统版本:centos7.x(以下使用7.x环境) centos6.x都可以2.关闭防火墙:systemctl stop firewalld.service systemctl disable firewalld.service3.配置主机名映射vim /etc/hostname 配置自己的主机名 heikn02vim /etc/hosts 配置自己的主机名和ip映射 127.0.0.1 localhost loc原创 2020-11-09 22:33:14 · 441 阅读 · 0 评论 -
HDFS基础命令与java api
一.基础命令1)本地服务器上传一个文件到hdfs目录 hdfs dfs -mkdir -p /test/input hdfs dfs -put /root/a.log /test/input2)查看某个目录 hdfs dfs -ls /test 递归查看某个目录: hdfs dfs -ls -R /test3)显示文件内容: hdfs dfs -cat 文件4)显示一个文件的末尾 hdfs dfs -tail 文件5)hdfs之间的拷贝 hdfs dfs原创 2020-08-07 17:47:39 · 120 阅读 · 0 评论 -
Hive基础入门详解(一)
Hive基础入门详解一.Hive的安装(使用mysql共享hive元数据)1.安装mysql 启动mysql2.解压hive-1.1.0-cdh5.14.0.tar.gz3.解压目录下conf中,cp hive-env.sh.template hive-env.sh 编辑hive-env.sh,修改: HADOOP_HOME=/xxx/hadoop hadoop的安装目录 export HIVE_CONF_DIR=xxx/hive-1.1.0-cdh5.14.0/conf hiv原创 2020-08-07 11:52:44 · 224 阅读 · 0 评论 -
kettle入门案例一(mysql输入输出到mongodb)
实现从mysql表输入的数据,输出到mongodb库中。1.新建一个转换2.新建一个DB连接3.配置mysql基本信息,点击测试,出现下图表示成功。4.选择核心对象,输入,表输入,拖拽到中间空白处。5.双击编辑表输入内容:获取sql查询,然后选择某张表。6.选择输入控件,Monogodb output7.连接表输入和mongo输出。鼠标悬浮在表输入上,出现如下图标,按住鼠标不放,拖拽到mongodb控件上。8.双击mongodb,编辑控件9.保存任务并执行任务。10.原创 2020-08-04 14:29:31 · 837 阅读 · 1 评论 -
mongodb因Aggregate的group或者sort操作引起的内存不足解决
1.问题描述:如下问题是因为mongo分组或者排序,因为数据量太大,超出了默认的内存限制。1).com.mongodb.MongoCommandException: Command failed with error 16945: 'Exceeded memory limit for $group, but didn't allow external sort. Pass allowDiskUse:true to opt in.' on server 192.168.4.28:19130. The fu原创 2020-07-04 15:33:23 · 1662 阅读 · 0 评论 -
Zookeeper客户端操作命令详见
./zkCli.sh查看所有节点: ls /创建节点并写入数据: create /app1 “this is app1”获取节点数据: get /app1修改节点数据:set /app1 “this is updating”监听通知第一个机器节点注册监听:get /app1 watch第二个机器节点修改数据:set /app1 “in updating”第一个节点会出现...原创 2020-05-06 18:11:29 · 119 阅读 · 0 评论 -
Redis客户端操作命令详解
1.客户端连接命令 redis-cli -h host -p port [-a password]2.基础语法结构: 命令 key_name3.存储一个数据: SET KEY_NAME KEY_VALUE4.删除一个数据: DEL KEY_NAME 成功得到1 失败得到05.是否存在某个KEY: EXISTS KEY_NAME 存在得到1 不存在得到06.为创建的永久...原创 2020-05-06 18:10:43 · 560 阅读 · 0 评论 -
Kafka基础操作命令
一.kafka常用命令1.kafka下载指定版本地址http://archive.apache.org/dist/kafka/zk下载地址 ;https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/2.创建一个topic./bin/kafka-topics.sh --zookeeper 192.168.20.71:218...原创 2020-05-06 18:09:35 · 122 阅读 · 0 评论