- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hive笔记-20210327
Hive自定义函数1.UDF（user-defined-function）一进一出 eg： 将单词全部大写2.UDAF（user-defined aggregation function）聚集函数 多进一出类似于 count/max/min3.UDTF（user-defined table-generating functions)一进多出基本概念大数据解决海量数据的传输、存储、计算（处理）hive 用于解决海量结构化日志的数据统计hive是基于Hadoop的数据仓库工具，可以将
2021-03-27 21:44:05
104
原创 java学习笔记-20210327
window 命令行操作进入d盘 d:呈现目录结构 dir新建文件目录：md 文件夹名字eg：cd java进入该文件夹 cd d:\java在该文件夹中创建文件夹也用md退出该目录返回到上一级目录 cd…回到根目录下 cd\创建文件 eg：将name:tom 写到1.doc中 echo name:tom>1.doc删除文件 del 1.doc删除所有txt的文件 del *.txt删除文件目录 rd team1（必须保证目录为空才能删掉）del team1 则删除的是tea
2021-03-27 09:25:52
89
1
原创 20210322 HDFS
HDFS特点适合一次读入 多次写出优点高容错性：数据自动保存多个副本，通过增加副本的形式，提高容错性某个副本丢失以后，可以自动恢复适合处理大数据数据规模文件规模可以构建在廉价机器上，多副本机制，提高可行性缺点不适合低延时的数据访问无法高效的对大量小文件进行存储存储大量小文件会占用NameNode大量内存来存储文件目录和块信息，NameNode内存是有限的小文件存储寻址时间会超过读取时间不支持并发写入、文件随机修改一个文件只能有一个 写，不允许多个线程同时写仅支
2021-03-22 11:14:15
161
原创 Hadoop常用端口号及配置文件
端口号Hadoop 3.xHDFS NameNode 内部通常端口号：8020/9000/9820HDFS NameNode 对用户的查询端口：9870Yarn 查看任务的运行情况：8088历史服务器：90080Hadoop 2.xHDFS NameNode 内部通常端口号：8020/9000HDFS NameNode 对用户的查询端口：50070Yarn 查看任务的运行情况：8088历史服务器：19888常用的配置文件3.xcore-site.xmlyarn-site.xml
2021-03-21 20:46:16
1281
原创 SQL子查询1
子查询MySQL筛选组中一些特殊值问题1 查询平均工资最低的部门信息解法1 多个子查询嵌套1.查找各部门的平均工资select avg(salary),dept_idfrom enployeesgroup by dept_id2.查询1结果上的平均工资最低的值select min(ag)from (select avg(salary) ag,dept_id from enployees group by dept_id) ag_dep;3.查出工资最低的部门id第2步
2021-03-21 17:11:11
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人