- 博客(21)
- 收藏
- 关注
RSS订阅原创 hive02
hive的运行流程底层原理hive的三种搭建方式hive的数据库操作：创建数据库：create database <dbname>;删除数据库：drop database <dbname>;修改数据库：alter database <dbname> set dbproperties：alter database <dbname> set owner ROLE|USER <name>;列出数据库：show databases;查看数
2021-04-12 21:18:33
383
原创 hive01
hivehive介绍hadoop生态系统就是为处理大数据集而产生的一个合乎成本效益的解决方案。hadoop的MapReduce可以将计算任务分割成多个处理单元然后分散到家用的或服务器级别的硬件上，降低成本并提供水平伸缩性。问题是用户如何从一个现有的数据基础架构转移到hadoop上，而这个基础架构是基于传统关系型数据库和SQL的？hive提供了HiveQL方言来查询存储在hadoop集群中的数据。hive可以将大多数的查询转换为MapReduce作业。select * from tb_user;h
2021-04-12 21:17:31
810
原创 tf-idf&pagerank&itemCF
PageRank概念[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Xh6ixThr-1617443784312)(media/03220b35276ce11d28bb913d0d014f92.jpeg)]PageRank是Google提出的算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。是Google创始人拉里·佩奇和谢尔盖·布林于1997年创造的PageRank实现了将链接价值概念作为排名因素。GOOGLEPageRank并不是唯一的链接相关的
2021-04-03 17:57:46
388
原创 mapreduce
MapReduce原语hadoop MapReduce框架可以让你的应用在集群中可靠地容错地并行处理TB级别的数据1024TB=1PB 1024PB=1EB 1024EB=1ZBMapReduce原语[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jWz2TKVZ-1617443696182)(media/c60e85f9619bb7b2fb877f4d1bac2ca2.emf)]**“相同”**key的键值对为一组调用一次reduce方法，方法内迭代这一组数
2021-04-03 17:55:28
616
原创 01 hadoop
1T文件操作1T文本文件，按行排列电脑配置：128MB可用内存1、找出该文件中重复的两行2、全排序3、数单词该任务能不能完成？读取1T文件耗时：≈30分钟将小文件读取到内存比较，≈30分钟最终60分钟找到重复的行时间用在了IO上依次读取有序的小文件，将读取到内存的小文件排序之后写入到磁盘1T文件该文件就是有序的≈1小时 IO耗时每个小文件是有序的，文件之间无序读取1T文件耗时：≈30分钟将小文件读取到内存比较，≈30分钟最终60分钟找到重复的行时间用在了IO上归并-或
2021-04-03 17:53:43
508
原创 centos8安装Hive
centos8安装Hive下载Hivewget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gz解压tar -zxvf apache-hive-2.3.7-bin.tar.gzmv apache-hive-2.3.7-bin /usr/local/hivecd /usr/local/hive配置环境变量export HIVE_HOME=/usr/local/hi
2020-12-12 16:08:50
963
4
原创 Hadoop自带MapReduce测试
Hadoop自带wordcount测试创建一个文档words.txthdfs下新建文件夹inputhdfs dfs -mkdir /input复制文件hdfs dfs -put /usr/hadoop/hadoop-2.8.5/data/words.txt /input查看txt中内容hdfs dfs -cat /input/words.txt找到jar包cd $HADOOP_HOME/share/hadoop/mapreduce执行hadoop jar hadoop-mapr
2020-12-12 15:10:37
409
1
原创 【大数据--HBase】
1.HBase简介一种分布式数据库，用来存储非结构化和半结构化松散数据，具有以下优点：HBase用的是Hadoop分布式文件系统HDFS,通过MapReduce进行海量数据处理，和Zookeeper协调管理服务。HBase和传统关系数据区别：1.传统关系数据库具有丰富的数据类型，而HBase的数据模型非常简单，它把每个存储的值都都存储为未经解释的字符串，当程序员读取时再将其解释为具体的...
2020-05-07 21:33:51
287
原创 【java】 打印杨辉三角
题目：打印出杨辉三角形（要求打印出 10 行如下图）程序分析：11 11 2 11 3 3 11 4 6 4 11 5 10 10 5 1public static void main(String[] args) { int[][] arr = new int[10][10]; for(int i = 0; i < 10; i++) { // 每行的第一个和最后一...
2020-04-25 16:36:38
228
原创 【java】反转链表
输入一个链表，反转链表后，输出新链表的表头。public ListNode ReverseList(ListNode head) { if(head == null || head.next == null){ return head; } ListNode p=null; ListNode q=null;...
2020-04-24 18:56:58
232
原创 【程序8】 插入数字(set集合方法)
题目：有一个已经排好序的数组。现输入一个数，要求按原来的规律将它插入数组中。传统方法：首先判断此数是否大于最后一个数，然后再考虑插入中间的数的情况，插入后此元素之后的数，依次后移一个位置；也可新建一个数组来插入。java集合方法：用list来存放数字，运用treeset自动排序的原理将list存入treeset然后输出。不是有序的数组也可以public static void main(St...
2020-04-24 17:11:38
887
原创 【java】 汉诺塔问题
移动盘子，采用分治算法循环递归public static void main(String[] args) { hanoiTower(3, 'a', 'b', 'c');//假设有3个盘子，三个柱子a,b,c } public static void hanoiTower(int num,char a,char b,char c) { if(num == 1){ Syste...
2020-04-22 19:32:27
103
原创 【java】八大基础排序算法
1.冒泡排序比较简单的排序算法，前后元素两两交换，平均时间复杂度O(n^2),空间复杂度O(1)，稳定public static void main(String[] args) { int arr[] = {-1,-3,7,3,10,2}; int temp = 0; boolean flag = false;//设置flag，若未发生交换则排序完成 for(int i = ...
2020-04-21 17:20:57
286
原创 【java】 约瑟夫环问题
问题描述：有若干个人，环成一圈开始报数，从1数起，数到某个数字就枪毙一个，然后继续从1数起，直到留下最后一个幸运儿，求这个幸运儿的序号。public static void main(String[] args) { System.out.println(lucky(8)); //假设有8个人 } public static int lucky(int num) { Arra...
2020-04-21 17:05:01
185
原创 【程序7】 打印菱形图案
题目：打印出如下图案（菱形） * *** ************ ***** *** *程序分析：先把图形分成两部分来看待，前四行一个规律，后三行一个规律，利用双重 for 循环，第一层控制行，第二层控制列。public static void main(String[] args) { for(int i = 1; i <= 4; i++) {//前四...
2020-04-20 18:43:42
754
原创 【程序6】 求日期
题目：输入某年某月某日，判断这一天是这一年的第几天？程序分析：以 3 月 5 日为例，应该先把前两个月的加起来，然后再加上 5 天即本年的第几天，特殊情况，闰年且输入月份大于 3 时需考虑多加一天。public static void main(String[] args) { Scanner sc = new Scanner(System.in); System.out.print...
2020-04-20 17:04:29
181
原创 【程序5】 求不重复数字
题目：有 1、2、3、4 个数字，能组成多少个互不相同且无重复数字的三位数？都是多少？程序分析：可填在百位、十位、个位的数字都是 1、2、3、4。组成所有的排列后再去 掉不满足条件的排列。public static void main(String[] args) { int i = 0,j=0,k=0,count=0; for(i = 1; i <= ...
2020-04-20 16:57:25
198
原创 【程序4】 输入数字求和
**题目：求 s=a+aa+aaa+aaaa+aa…a 的值，其中 a 是一个数字。例如 2+22+222+2222+22222(此时共有 5 个数相加)，几个数相加有键盘控制。程序分析：关键是计算出每一项的值**。public static void main(String[] args) { Scanner scanner = new Scanner(System.in); Sys...
2020-04-20 16:55:50
492
原创 【程序3】 分解质因数
题目：将一个大于2正整数分解质因数。例如输入6，6=23，输入90，90=2335.程序分析：对 n 进行分解质因数，应先找到一个最小的质数 k，然后按下述步骤完成：(1)如果这个质数恰等于 n，则说明分解质因数的过程已经结束，打印出即可。(2)如果 n<>k，但 n 能被 k 整除，则应打印出 k 的值，并用 n 除以 k 的商,作为新的正整数 n,重复执行第一步。(3)如...
2020-04-20 16:50:31
585
原创 【程序2】输出素数
【程序2】输出素数题目：判断 101-200 之间有多少个素数，并输出所有素数。程序分析：判断素数的方法：用一个数分别去除 2 到 sqrt(这个数)，如果能被整除，则表明此数不是素数，反之是素数。public static void main(String[] args) { for (int i = 100; i <= 200; i++) { ...
2020-04-20 16:26:54
316
原创 【程序1】 不死神兔
【程序1】 不死神兔题目：古典问题：有一对兔子，从出生后第 3 个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子对数为多少？程序分析： 兔子的规律为数列 1,1,2,3,5,8,13,21…递归或for循环皆可public static void main(String[] args) { /* * int count=0; ...
2020-04-20 16:25:00
144
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人