大数据框架
圣☞摧枯拉朽
大数据
展开
-
mongodb 操作伪码
1.创建客户端MongoClient client = new MongoClient(“localhost”,27017)2.连接数据库MongoDatabase mdb = client.getDatabase(“数据库名字”)3.创建集合。只能创建一次mdb.createCollection(“student1”)4.获取集合MongoCollection<Document> coll = mdb.getCollection(“student1”)5.插入数据5.1创.原创 2021-05-25 13:44:12 · 88 阅读 · 0 评论 -
kylin 的 cube流程
hbase中存储的是 value,一些数据,占用空间小。取出数字后再对应出具体值。原创 2021-01-20 19:49:08 · 114 阅读 · 0 评论 -
系统里有哪些软中断?
最近,某团外卖被爆出大数据杀熟,所谓的大数据杀熟指的是平台利用户的数据,分析你是否是钱多的人,或者是否是不纠结价格的人,如果是,那么你买同样的物品会比普通用户贵一点,一般这种没有特地去对比价格是很难发现的,所以平台就利用了这点额外赚一些钱。说来很可笑,我们作为平台的资深用户,竟然被平台背后偷偷捞一笔。不过,大数据杀熟早已是屡见不鲜的事情了,事实上,几乎所有大平台都存在这种现象,没办法,这就是真实的互联网。刹车,大数据杀熟的话题就说到这了,我们还是回归到今日的技术主题:什么是软中断?。中断是什原创 2021-01-14 12:38:57 · 1401 阅读 · 0 评论 -
namenode 安全模式
如何进入/退出安全模式?进入:hdfs dfsadmin -safemode enter退出:hdfs dfsadmin -safemode leave原创 2020-08-06 08:22:35 · 324 阅读 · 0 评论 -
烧脑的java字符串比较(字符串常量池、指向堆、指向字符串常量池)--jdk1.8
本文是在jdk1.8的基础上解析的。在JDK1.8中调用 intern() 该方法:如果常量池中 有 一个和当前对象相等 (用equals比较) 的字符串, 则返回常量池中的字符串 ;否则把改字符串放到常量池中,并返回 该字符串的引用 .一、实例解析1String str1=new String("he")+new String("llo"); // 在堆中产生三个对象,str1 只指向合并后生成的那个"hello"对象;String str2="hello";...原创 2020-05-13 15:32:26 · 388 阅读 · 0 评论 -
Hive常用函数大全(二)(窗口函数、分析函数、增强group)
窗口函数与分析函数应用场景:(1)用于分区排序(2)动态Group By(3)Top N(4)累计计算(5)层次查询窗口函数FIRST_VALUE:取分组内排序后,截止到当前行,第一个值LAST_VALUE: 取分组内排序后,截止到当前行,最后一个值LEAD(col,n,DEFAULT) :用于统计窗口内往下第n行值。第一个参数为列名,第二个参数为往下第n行...原创 2019-04-01 11:37:59 · 188 阅读 · 0 评论 -
dfs.namenode.name.dir 和dfs.datanode.data.dir dfs.name.dir 与 dfs.data.dir的意思
dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录?dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录?有何作用?我们可以在本地文件系统中找到HDFS文件系统中文件或目录的位置吗?我们可以在本地文件系统的以上两个目录中找到HDFS文件系统中某个具体的文件或目录的位置吗?是否存在一一映射的关系?dfs.namenode.name.dir是保存FsImage镜像的目录,作用是存放hadoop的名称节点n原创 2020-05-12 15:28:59 · 9147 阅读 · 0 评论 -
我遇见的大数据异常----启动hive时,namenode处于安全模式。网上好多方法,却不适合我。
异常信息:Cannot create directory /tmp/hive/root/XX. Name node is in safe mode.namenode 退出安全模式:bin/hadoop dfsadmin -safemode leave.原创 2020-05-09 10:34:43 · 745 阅读 · 0 评论 -
zookeeper之选举机制 简化易理解
目前有5台服务器,每台服务器均没有数据,它们的编号分别是1,2,3,4,5,按编号依次启动,它们的选择举过程如下: 服务器1启动,给自己投票,然后发投票信息,由于其它机器还没有启动所以它收不到反馈信息,服务器1的状态一直属于Looking。 服务器2启动,给自己投票,同时与之前启动的服务器1交换结果,共2票(1票来自自己投票,另一票来自服务器1投票),由于服务器2的编号大所以服务器...原创 2020-03-29 17:12:55 · 195 阅读 · 2 评论