- 博客(26)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 状态流累加
object Socket_Streaming_State extends App {val sc: SparkContext = SparkContext.getOrCreate(new SparkConf().setMaster(“local[*]”).setAppName(“hdfs”).set(“spark.executor memory”,“4g”))val ssc = new StreamingContext(sc,Seconds(2))//必须要设置检查点ssc.checkpoint(
2021-01-06 22:24:18
204
原创 Scala的Array方法
增：集合之间合并类++ ++:/union+=增加一个string类型的集合，常用于map/元组/ArrayBuffer[T] var m=Map(“a”->1);m+=(“j”->0)集合增加元素+: :+ padTo 后补齐删：集合去除元素drop 去除前n个 dropRight dropWhile改：集合修改patchupdate/updated取值：集合取值（单个、头尾、部分）applyhead/headOption 返回集合第一个元素tail 取出
2020-12-21 00:45:12
709
原创 线程池
线程池（Executor）//创建最大容纳线程数的线程池ExecutorService es = Executor.newFixedThreadPool(5)//执行线程，分发容器（存储子线程结果,如果需要结果的话）String[] res=new String[5]for(int i=0;i<5;i++){es.executor(new thread(res));}//关闭线程池es.shutdown;//监控子线程是否执行完，阻塞主线程while(!es.isTerminat
2020-12-10 23:42:40
174
原创 SQL语句中的AND和OR执行顺序问题
https://blog.csdn.net/bingguang1993/article/details/79657256
2020-11-26 22:46:04
325
原创 spark连接redis
/**实际上是java连接redis，返回结果转为spark的rdd/object spark_redis {def main(args: Array[String]): Unit = {val sc = SparkContext.getOrCreate(new SparkConf().setAppName(“redis”).setMaster("local[]"))val jedis = new Jedis(“192.168.56.100”)val dd = jedis.lrange(“x
2020-11-18 22:55:39
593
原创 hive函数
字符函数1.concat连接字符函数作用：用于连接表字段的值select concat(‘ab’,’cd’,’ed’) ==> abcdef2.instr 返回字符串中子字符串第一次出现的位置，没有返回0作用：可以判断字段的值是否包含某个字符等 类似contains与locate函数效果重复select instr(‘abcdefcd’,’cd’) ==> 33.length 字符串中字符个数作用：计算字段本身的字符个数 ？？还是字段的值？select l
2020-11-17 23:52:58
598
原创 Redis安装及使用
安装redisredis是基于c语言编译的wget http://download.redis.io/releases/redis-4.0.6.tar.gztar -zxf redis-4.0.6.tar.gzyum install -y gcccd redis-4.0.6make MALLOC=libccd src/make installvi …/redis.conf将bind&nbs
2020-11-12 23:09:55
61
原创 scala编译胖包
maven-compiler-plugin 2.3.2 1.8 1.8 <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <descriptorRefs>jar-with-de...
2020-11-09 22:11:56
170
原创 Hive学习—UDF函数
一、简述UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了二、实现UDF注意事项1.自定义udf函数需要继承org.apache.hadoop.hive.ql.exec.UDF2.需要实现evaluate 函数，evaluate 函数支持重载。3.udf 必须要有返回类型，可以返回null，但是返回类型不能为void；4.udf 常用Text/LongWrite 等类型，不推荐使用java类型。
2020-07-29 12:19:55
3125
原创 Hive学习—行列转换
智者的梦再美，也不如愚人实干的脚印。供学习HSQL的童鞋们参考！在工作学习中，往往需要对查询的表结构进行简单的行转列或列转行的优化列转行表数据如图要求：查询每个国家，女性，男性的人数，如图我们很容易通过以下语句查出结果，但是格式和目标还需要转换下select country,gender,count(*) as people from customer_details group by country,gender;方法一...
2020-06-16 19:03:18
255
原创 Hive学习—静态动态分区
一个人胸中没有学问，就像手中没有钱，供学习HSQL的童鞋们参考！Hive分区（Partitions）：用指定分区的列的值在hdfs中创建文件夹，并以此将表数据划分到不同的文件夹，即在表目录下再创建细分文件夹作用：提高查询性能（查询时自动过滤不在条件的分区）分类：动态分区和静态分区静态分区步骤：1.建表时即指定分区(可以指定多个)create table student(id int,name string,age int)partitioned by(gender string) row
2020-06-15 19:01:06
236
原创 Hive学习—表相关操作
供学习HSQL的童鞋们参考一、基础建表hive中有两种表形式：1.内部表 2.外部表区别：内部表的数据完全由Hive管理，在hive中用命令删除表（元数据，表结构）也会删除表数据，而外部表的数据不完全由Hive管理，删除表不会删除表的数据（表数据是由hdfs路径中的存储数据的文件映射过来的）内部表创建内部表的创建方法基本等同mysqlcreate table userinfos( userid int, username string, age int, gend
2020-06-11 20:15:51
312
原创 hive安装详解（附脚本）
一、脚本安装先奉上安装脚本蓝奏云：https://ydfei.lanzous.com/iLeFodiggle版本链接百度云：https://pan.baidu.com/s/13fiuIpp5FiHvy5QoScFALA提取码：96ep脚本使用方法要求：1.已安装hadoop,zookeeper,mysql并启动 2.版本hive-1.1.0-cdh5.14.2.tar.gz参数：1.安装包所在目录（安装在安装包所在位置的soft目录下） 2.mysql账号 3.mysql密码命令格式参考：
2020-06-10 10:38:46
473
原创 zookeeper安装详解（附脚本）
一、脚本安装先奉上安装脚本蓝奏云：https://ydfei.lanzous.com/iGuTadiggeh版本链接百度云：https://pan.baidu.com/s/1XvRChlUbQWV3cHuuYe0dAQ提取码：3vwq脚本使用方法要求：1.已安装jdk 2.zookeeper版本为zookeeper-3.4.5-cdh5.14.2.tar.gz 3.启动hadoop参数：1.安装包所在目录（安装在安装包所在位置的soft目录下）命令格式参考：./zookeeper.s
2020-06-10 09:41:40
366
原创 java删除文件夹及其内部文件
Java中普通file对象的delete方法只能删除文件或者空文件夹，无法删除非空文件夹，更别提层层套娃的文件夹，所以就要用到递归了！public static void delDir(String path){ File file = new File(path); //如果是文件，直接删除 if(file.isFile()){ file.delete(); }else{ //如果是文件夹，获取内层文件集合 File[] inFiles = file.listFiles(); /
2020-06-08 19:37:30
467
原创 Java API练习MapReduce的WordCount
WordCount（单词统计)原理：如图步骤：1.文件分块：Hadoop自动根据block大小分成N块（上图Splitting阶段）2.分词：自己写java代码把每一个block按照具体需求分词，把每个词的内容存入Map集合的key，value为1 （Map阶段）3.block内聚合：对每一个block的每个Map集合聚合，汇总每个block中的不同词的数量 （Combine阶段）4.哈希：对每个Map中的key值哈希化，然后根据哈希值分组排序（不同block的相同词的哈希值是一样的），以Ma
2020-06-04 17:03:54
382
原创 Hadoop伪分布式安装与配置详解（附脚本）
Hadoop的安装脚本蓝奏云：https://ydfei.lanzous.com/ijLJYd95ldg脚本使用方法：要求：1.已安装jdk1.8 2.hadoop版本为hadoop-2.6.0-cdh5.14.2.tar.gz参数：1.安装目录（安装包要在安装目录下，如：/opt）2.ip地址修改脚本中的jdk目录为自己电脑下的jdk目录安装详解一、前期准备1.下载并解压tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz 2.移动并改名mv ha
2020-06-02 15:41:48
1619
原创 Logstash常见的数据过滤情形及导入Elasticsearch数据库
Logstash安装下载并解压安装包wget https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gztar -zxf logstash-6.2.2.tar.gz测试安装是否成功在logstash文件的bin目录下执行如下命令（参数-e:立即执行，使用命令行里的配置参数启动实例）./logstash -e 'input { stdin {} } output { stdout {} }'测试结果格式化输
2020-05-31 23:40:50
992
原创 哈希表的简单理解
哈希表具有查询速度快，效率高的优点，是基于数组，特定情况下结合链表（红黑树）的数据结构。设计思路：设想用数组存储英文字母a-zzzzzzzz的字符串，这样的话总共有26^8种结果，而如果想要查询字母absdaw就只能通过遍历数组，非常影响速度。灵感一闪而过，如果能把每个字母与数组下标绑定不就能快速查询，而每个字符都有一个唯一特定的ASCII值思路1：提取字母的每个字符，转为ASCII值后相加 public int wordToNum(String word){ int tota
2020-05-26 22:20:38
460
原创 shell脚本中的missing错误
[: missing `]'错误如图，在运行编写的shell脚本时，出现了[: missing `]'错误后经检查，发现是shell中缺少了空格~
2020-05-19 21:41:31
4840
原创 Shell关系与逻辑运算符，在也不想背那么多的Shell运算符了
Shell关系与逻辑运算符，在也不想背那么多运算符了对于大部分初学者来说，要记住Shell脚本中许多运算符还是比较困难的，大都习惯用如==,!=,>,<等运算符，但Shel结构"[]“又不允许这种语法，这时就可以使用”[[]]和(())"结构！使用方法：同"[]"结构一样(注意：不要少空格)#!/bin/bashif [[ $1 > $2 || 1 == 1]]then echo "Hello Linux"fi 测试后的结果没有问题注意：如果要用到>=或<
2020-05-15 17:25:26
577
原创 OBS插件开虚拟摄像头，学生党的福利
OBS插件开虚拟摄像头，学生党的福利相较于VCam等虚拟摄像头软件，OBS的最大优势就是免费，白嫖不香吗？首先安装OBS及其插件蓝奏云：https://ydfei.lanzous.com/b01begnkb安装很简单，先安装OBS，然后安装OBS插件，其中插件在安装时注意：1.选择1个虚拟摄像头2.插件安装目录，选择OBS所在的安装目录（否则可能导致OBS中没有该插件）然后建议设置OBS画布为1280X720...
2020-05-14 15:26:28
46861
25
原创 CentOS7 64位首次安装mysql步骤
CentOS7 64位首次安装mysql步骤由于CentOS7 版本将MySQL数据库软件从默认的程序列表中移除,用MariaDB代替了,MariaDB数据库管理系统是MySQL的一个分支，会与要安装的MySQL产生冲突！1、检查系统是否装有MariaDB数据库("|"是管道符，前一个命令的输出作为下一个命令的输入)rpm -qa | grep mariadb这里返回mariadb，说明已安装2、删除mariadb数据库rpm -e --nodeps mariadb-libs-5.5.65-
2020-05-12 23:22:40
1693
cmmagic-goodcommend-master.zip|cmmagic-goodcommend-master.zip
2020-11-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人