![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux和hadoop生态
hadoop生态的各种学习笔记
一把秀儿
这个作者很懒,什么都没留下…
展开
-
hive的sql语句之系统函数 分桶表和抽样查询
数组 selectselect array(1,2,3,4) ;用法案例select array(id,url,ct)这是表的列名 from tb_log ; 这是表名 就是把表的三列合成一列展示出来select array(id,url,ct)[0] from tb_log; 数组的取值就是把索引为0的id列展示出来array_conrainsarray_conrains 判断数组中是否有指定 元素 用法如下select array_contains(array(1,2,3)原创 2020-12-02 23:03:00 · 677 阅读 · 0 评论 -
hive的sql题练习,关联查询语句,排序
`count(1) 统计这一列有多少个单`位sql语法执行顺序select 4 执行from 1tb_name where 2group by 3分组having 5order by 6全局排序limit****insert into 要插入的表名 values(要插入的一行数据中间','隔开) 表中插入一行数据关联查询的语句总结 join,inner join,left join,right join,full join ,un原创 2020-12-02 20:37:28 · 306 阅读 · 0 评论 -
hbase课堂笔记_有点乱
hbase有主从节点之分Hmaster是主节点regionserver是从节点processlist 进程列表(region的拆分,region的合并)status 集群状态***table_help 表的帮助version hbase的版本***whoami 当前用户***ddl 表的操作语言(和表的结构有关的操作)alter 修改表结构(表明 列族属性 ttl(FOREVER无限时间)数据的过期时间 version数据版本)create 建表describe 表信息dis原创 2020-12-02 10:52:49 · 5773 阅读 · 0 评论 -
开关机命令
namenode datenode 是hdfs 开关是 start-dfs.sh stop-dfs.shnodemanager resoutcemanager 是yarn 开关是 start-yarn.sh stop-yarn.shquorumpeermain 是 zookeppr 开关是 sh zk.sh start sh zk.sh stophregionserver hmaster 是hbase 开关是start-hbase.sh stop-hbas原创 2020-12-02 10:51:47 · 86 阅读 · 0 评论 -
linux课堂笔记_有点乱
ls 当前目录所有文件夹ll 返回当前文件夹下所有文件明细ll -a 显示所有文件(包括隐藏文件)./ 当前目录…/ 上一级目录cd / 返回根目录cd ~ 返回root目录 家目录cd - 返回上一次所在的muluuseradd加用户名 添加用户 在home目录可以查看su root 使用管理员用户su 用户名 使用此用户ls / 查看根目录下所有文件pwd 获得所在文件夹的绝对路径ls ./ 查看当前目录下的所有wen原创 2020-12-02 10:51:05 · 1468 阅读 · 0 评论 -
hadoop课堂笔记_有点乱
hdfs dfs-cat 查看文件内容-ls -R 递归查看文件夹下所有文件目录-put 上传-get 下载-rm -r 删除-chmod -R 修改权限-mv 移动-tail 从后面开始读java 客户端maven 创建项目添加依赖//创建默认配置文件系统对象Configuration con = new Configuration();//分布式文件系统FileSystem fs = FileSystem.newInstance(new URI(“hdf原创 2020-12-02 10:49:29 · 207 阅读 · 0 评论 -
hive的sql查询语句和题练习
查询语法show functions 查看系统中 支持的函数desc function 加想要查的函数 查询这个函数怎么用if(1==1,1,0) 类似于三维运算符 表达式一成立执行1,不成立执行0nvl(comm,0) 如果comm是null就返回0,如果不是null就返货comm原本的默认值greatest(jb,jj,tc) 返回里面最大的一个数case 2when 1 then 'jb'when 2 then 'jj'when 3 then 'tc原创 2020-12-02 01:15:14 · 229 阅读 · 0 评论 -
hive学习笔记
hi ve的简介企业中大部分数据都是结构化的数据,就算不是结构化的数据也会弄成结构化的数据可以用java来分析,但是Java分析效率低,单机器运算资源,不能分布式运行处理能力有限可以用mysql来处理,处理效率高但是处理的数据量有限,并发量有限所以可以把大量的数据存储在hdfs中就可以横向扩展,可以存海量的数据在hdfs中就可以用MR程序来处理,但是MR程序处理数据慢,开发周期长,代码量臃肿,代码复杂,效率低,但是稳定为什么要分析处理数据嫩,应为我们要从海量数据中提取有价值的数据,指导企业的后原创 2020-12-01 12:02:10 · 186 阅读 · 0 评论