- 博客(61)
- 收藏
- 关注
RSS订阅原创 flink数据源六种加载方式以及sink输出方式
sourceContext.collect(SensorReading("生产:"+i,1,1))//cancel方法用于关闭run方法，可以设置flag，将flag设为false).build()
2023-05-16 15:42:08
468
原创 sparkStreaming：kafka topic连接spark处理数据传输到kafka另一个topic
【代码】sparkStreaming：kafka topic连接spark处理数据传输到kafka另一个topic。
2023-04-27 19:19:58
489
原创 flume读取文件传到kafka
每个配置conf文件配对相应的文件，这里拿events.conf举例。在/opt/soft/flume190目录下启动以下命令。传输到指定文件后，kafka消费者就会读取到对应的文件。注意：副本数不能大于broker数。出现以下图片则启动成功。
2023-04-27 17:21:41
624
原创 Sqoop详解
Sqoop(SQL-to-Hadoop)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导出到关系型数据库中。
2023-03-09 19:23:39
3248
原创 Hbase 映射到Hive
目录一、环境配置修改关闭掉hbase，zookeeper和hive服务进入hive312/conf修改hive-site.xml配置， 在代码最后添加配置 将hbase235的jar包全部拷贝到hive312的lib目录，并且所有的是否覆盖信息全部输入n，不覆盖 查看hive312下面的guava，只保留27的guava删除除了27以外的所有guava 编辑 再将hbase235里面的除了27的guava全部删除 将hive312的27拷贝到hbase235的lib目录下 重新启动hadoop，zook
2023-03-08 17:02:21
994
原创 Hbase操作命令
创建表，表中有两个列族 baseinfo, schoolinfo，全表扫描指定列族指定列，查看指定列中不同版本的数据，删除表 注意，首先要将删除的表设置为禁用状态才可以删除，否则会报错
2023-03-07 18:44:03
542
原创 Linux系统安装Hbase，通过Zookeeper管理
安装包：链接：https://pan.baidu.com/s/1yy2twUNFdySYCoCJrg5Ytw?hbase(main):003:0> list_namespace_tables 'default' 查看命名空间下的表。hbase(main):002:0> list_namespace 查看命名空间。3.启hbase: start-hbase.sh。1,启动hadoop: start-all.sh。
2023-03-06 18:46:06
424
原创 拉链表详解
拉链表数据生成的思路是：ods更新或者新增的数据 + union +dwd拉链表历史数据（要更改历史数据中状态发生改变的字段）。设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据（SCD2）的一种常见方式。拉链表是维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。
2023-03-05 13:43:25
7979
原创 Linux环境运行Maven 生成的hadoop jar包
hadoop jar ./jar包名字 class对象路径 输入路径 输出路径。设置元素为： /inpath /outpath。
2023-02-10 19:56:18
811
原创 Hadoop工作原理
hdfs dfs -cp -p /dir1/a.txt /dir2/b.txt #将hdfs的某个文件拷贝到hdfs的另外一个路径(深度拷贝)hdfs dfs -rm /a.txt #删除一个文件(删除文件之后移动到hdfs的垃圾桶,七天之后自动删除)hdfs dfs -mv /dir1/a.txt /dir2 #将hdfs的文件移动到hdfs的另外一个路径。hdfs dfs -rm -r /dir1 #递归删除一个文件夹(删除文件之后移动到hdfs的垃圾桶)
2023-02-07 16:12:22
1787
原创 Linux系统安装Hadoop步骤详解
进入目录：cd /etc/sysconfig/network-scripts/配置根据电脑内存自由处理，一般来说，虚拟机内存设为电脑内存一半。然后ping www.baidu.com。然后javac，出现下面图片。
2023-02-01 18:57:14
6513
1
原创 如何用IDEA创建SpringBoot项目
当标注的属性是接口时，其实注入的是这个接口的实现类， 如果这个接口有多个实现类，只使用@Autowired就会报错，因为它默认是根据类型找，然后就会找到多个实现类bean，所有就不知道要注入哪个。简单来说就是Dao层是底层，具体到某一张表的增删查改，可以理解为有多少张表就有多少个Dao层，而Service成可以理解为是Dao层的 “上司”，通过Service层来控制Dao层。具体起来，Dao的作用是封装对数据库的访问：增删改查，不涉及业务逻辑，只是达到按某个条件获得指定数据的要求；然后finish完成。
2023-01-30 18:48:59
1111
原创 SSM框架整合（Spring+SpringMVC+MyBatis)
简单来说就是Dao层是底层，具体到某一张表的增删查改，可以理解为有多少张表就有多少个Dao层，而Service成可以理解为是Dao层的 “上司”，通过Service层来控制Dao层。Dao层：全称为data access object，属于一种比较底层，比较基础的操作，具体到对于某个表、某个实体的增删改查。具体起来，Dao的作用是封装对数据库的访问：增删改查，不涉及业务逻辑，只是达到按某个条件获得指定数据的要求；Service是业务层，Dao是数据访问层，这样的分层是基于MVC架构来说的。
2023-01-30 17:24:40
1015
4
原创 java8 第七章-----多线程
进程（Process）是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。线程（Thread）是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一个线程就是一个指令流，将指令流中的一条条指令以一定的顺序交给 CPU 执行。单核 CPU 下，线程实际还是 串行执行 的。
2023-01-10 15:51:24
2353
原创 C3P0数据库连接池详解 及连接JDBC步骤
C3P0是一个开源的JDBC连接池，它实现了数据源与JNDI绑定，支持JDBC3规范和实现了JDBC2的标准扩展说明的Connection和Statement池的DataSources对象。即将用于连接数据库的连接整合在一起形成一个随取随用的数据库连接池。
2023-01-05 18:11:55
678
原创 java8 第六章-----文件编程
Channel 有一点类似于 Stream，它就是读写数据的双向通道，可以从 Channel 将数据读入 buffer，也可以将 buffer 的数据写入 Channel，而之前的 Stream 要么是输入，要么是输出，Channel 比 Stream 相比更为底层。
2023-01-04 16:21:16
605
原创 java8 第五章-----集合
Stream流是由三部分组成的。数据源，零个或一个或多个中间操作，零个或一个终止操作。相同点：元素的存取是有序的，可以重复，可以存取null，元素有下标。相同点：元素的存取是无序的，不能重复，可以存取null，元素无下标。注意：Stream操作并不会存储元素，而是按需计算。相同点：以键值对的形式添加元素，键不能重复，值可以重复。
2022-12-30 15:28:37
440
原创 java8 第四章-----工具类
有且仅有一个抽象方法的接口就是函数式接口，并且可以通过在类上标注@FunctionalInterface注解进行检测。
2022-12-29 16:15:11
414
原创 java8 第二章-----面向对象
每个对象都有生命周期，当对象生命周期结束时，分配给该对象的内存地址将会被回收，在 Java 中拥有一套完整的垃圾回收机制，用户不必担心废弃的对象占用内存，他会被垃圾回收器自动回收，垃圾回收不保证一定会发生，具体执行时间也不确定，可以手动调用：System.gc();由 static 关键字修饰的成员变量、成员常量、成员方法和内部类被称为静态成员变量、静态成员常量、静态成员方法和静态内部类。概述：使用不同包下的类时，使用的时候要写类的全路径，为了简化操作，Java就提供了导包的功能。
2022-12-27 16:08:44
172
原创 java8 第一章-----基础语法
用于定义数据类型的关键字：class、interface、byte、short、int、long、float、double、char、boolean、void。用于定义流程控制的关键字：if、else、switch、case、default、while、do、for、break、continue、return。标识符可以简单理解为：给文件名、类名、接口名、注解名、数组名、方法名、变量名、常量名起名字。赋值运算符：=、+=、-=、*=、/=、%=、&=、|=、^=、=、>>>=
2022-12-26 15:30:37
201
原创 IDEA中JDBC连接MYSQL数据库步骤超详细总结------第一种方法
有两种抛出方式第一种为直接抛出，在类或方法后面都可以加入该异常语句，‘throws Exception’，这种没有什么异常的话可以直接执行，具体使用方法如下//使用throws Exception//如：第二种可以处理异常，有异常会提示异常，并为开发者提供异常处理机制//2.可以使用try{}catch{}//如try {/*这里放置执行的代码*//*这里放释放的代码*/}//1下载和在工程中配置mysql驱动try {//2.加载驱动，mysql5之后可不用该语句。
2022-12-25 16:15:42
4401
转载 Oracle 数据库登录详解
目录一、登录oracle重启服务器后启动oracle oracle的登录方式：二、监听监听服务的主要文件：三、用户oracle安装后常用的默认三个用户权限角色：创建用户及授权：四、一些sql语句 二、监听本节参考：监听服务详解listener.ora 文件内容如下：sqlnet.ora SYS用户： 超级管理员，权限最高，它的角色是DBA(数据库管理员)。具有创建数据库的权限。SYSTEM用户：系统管理员，权限很高，它的角色是DBA operator（数据库管理员操作者），不具有创
2022-12-13 21:28:11
15932
原创 Oracle 数据库，重启虚拟机后，登录显示 bash: sqlplus: command not found 问题
将上面的代码放到最后。然后登录oracle。
2022-12-13 20:18:13
969
原创 Oracle 数据库虚拟机安装步骤详解----配图
下载unzip用来解压文件：[root@localhost oradata]# yum install -y unzip。安装前将/oradata文件及目录下的所有文件文件夹的权限都属于oracle用户。将/oradata上当及目录内的所有文件和文件夹的归属都修改为oracle用户。拷贝安装文件db_install.rsp到/oradata目录下。6、创建oradata目录，解压oracle安装。此命令只是查看是否成功，单独开个窗口查看。操作用户：oracle。操作用户： root。操作用户oracle。
2022-12-12 18:25:18
743
原创 Mysql官网函数集合---中英文解释以及代码例题 按首字母顺序查找
重点注意：因为在开窗函数over()中除了分组和排序，还有一个窗口的从句，在经过排序之后，使用last_value函数生效的范围是第一行至当前行，在上面的例子id=1分组中，每一行显示的所谓最后一个值last value来自第一行到当前行这个范围内的最后一个，这里，我们仅对id=1组逐行分析，id=2分组同理可证。For INSERT…在重复的键更新语句中，如果该行作为新行插入，则每行的affected-rows值为1，如果已存在的行被更新，则为2，如果已存在的行被设置为当前值，则为0。
2022-12-11 21:01:11
2070
原创 Mysql数据库命令大全(五）
子查询外部的语句可以是 INSERT / UPDATE / DELETE / SELECT 的任何一个根据子查询结果不同，分为：A. 标量子查询（子查询结果为单个值）B. 列子查询 ( 子查询结果为一列 )C. 行子查询 ( 子查询结果为一行 )D. 表子查询 ( 子查询结果为多行多列 )根据子查询位置，分为：A. WHERE 之后B. FROM 之后C. SELECT 之后常用的操作符： = > >= <
2022-12-08 21:36:35
374
原创 Mysql数据库命令大全(四）
目录多表查询概述分类内连接外连接1). 左外连接2). 右外连接 数据准备内连接外连接分为两种，分别是：左外连接 和 右外连接1). 隐式内连接 2). 显式内连接A.查询每一个员工的姓名 , 及关联的部门的名称 ( 隐式内连接实现 )表结构 : emp , dept连接条件 : emp.dept_id = dept.id B. 查询每一个员工的姓名 , 及关联的部门的名称 ( 显式内连接实现 ) --- INNER JOIN ...ON ...表结构 : emp , dept连接条件
2022-12-06 21:31:44
57
原创 Mysql数据库命令大全(三）
alter 用法补充： 函数字符串函数 由于业务需求变更，企业员工的工号，统一为 5 位数，目前不足 5 位数的全部在前面补 0 。比如： 1 号员工的工号应该为00001数值函数 通过数据库的函数，生成一个六位数的随机验证码思路：获取随机数可以通过rand() 函数，但是获取出来的随机数是在 0-1 之间的，所以可以在其基础上乘以 1000000 ，然后舍弃小数部分，如果长度不足 6 位，补 0 查询所有员工的入职天数，并根据入职天数倒序排序思路： 入职天
2022-12-05 18:37:35
283
原创 Mysql数据库命令大全(二）
常见的聚合函数count统计数量注意 : NULL 值是不参与所有聚合函数运算的统计该企业员工数量 统计西安地区员工的年龄之和分组查询 根据性别分组 , 统计男性员工 和 女性员工的平均年龄查询年龄小于 45 的员工 , 并根据工作地址分组 , 获取员工数量大于等于 3 的工作地址注意事项: 根据年龄对公司的员工进行升序排序根据入职时间 , 对员工进行降序排序根据年龄对公司的员工进行升序排序 , 年龄相同 , 再按照入职时间进行降序排序注意：优先满足条件一，之后再二
2022-12-04 18:21:49
172
原创 Mysql数据库命令大全(一）
目录增删改数据添加数据insert2、给全部字段添加数据3、批量添加数据修改数据update删除数据 delete查询数据基本查询（不带任何条件）1、查询多个字段2、字段设置别名3、去除重复记录条件查询1、给指定字段添加数据insert into 表名（字段1，字段2，...）valus（值1，值2，...）insert into 表名 valus （值1，值2，....）选择性批量添加insert into 表名（字段名1，字段名2，...）valus（值1，值2，..),(值1，值2，...),(值1，
2022-12-04 14:54:33
119
原创 Centos 7 彻底删除mysql步骤
用两种方式检出是否删除干净有安装则直接删除，删除掉你自己查询后显示的安装包，示例如下：注意: 再次执行检查命令，有则删除，直到查询不出结果。
2022-12-01 16:21:34
2967
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人