- 博客(63)
- 收藏
- 关注
RSS订阅
原创 MySQL数据库零基础教学[超详细]
文章目录一、数据库简介二、MySQL数据类型常用类型三、常用Sql语句(1)Sql语句简介(2)数据定义语言DDL`create,alter,drop`（定义 修改 删除 表[数据库]）(3)数据操纵语言DML`update,insert,delete`(对表中数据 增删改）(4)数据查询语言DQL`select`（实际使用最多，查询）(5)数据控制语言DCL`grant,revoke`（创建撤销...
2019-12-20 23:26:59
14879
4
原创 吐血整理出来的大数据知识点，你掌握多少？
文章目录写在前面正片语言工具类Java实现线程的两种方式集合List集合ArrayListLinkedListSet集合HashSet二叉查找树TreeSetLinkedHashsetMap集合TreeMapHashTableJVM方法区：（被加载的信息，常量，静态变量编译后的代码等数据）虚拟机栈:（java方法服务，储存局部变量方法出口等）本地方法栈堆（对象实例创建，垃圾回收操作）程序计数器Java自带哪几种线程池？（4）HashMap和HashTable区别TreeSet和HashSet区别String
2020-08-28 20:18:26
2518
2
原创 Structured Streaming总结
文章目录写在前面关于介绍API主要学习读取Socket数据读取目录下文本数据整合Kafka整合环境准备代码实现整合MySQL代码实现写在前面晚上好我是啊晨 ，一个大数据分享者今天说一下Spark的Structured Streaming，工作中据我了解不是很多，但也有使用。毕竟是微批处理的，做标准实时的话，还要看flink。如有需要flink文章请阅读我的其它大数据文章，谢谢中间有什么问题请留言，请珍惜现在的时间：关于介绍这个建议大家看官网，写的非常详细，毕竟官网学习还是很有效率的。官
2020-07-23 22:58:25
818
原创 使用Spark Structured Streaming时window不能用
问题不能导入包，分析可能是版本问题，也可能是idea的问题解决手动添加：import org.apache.spark.sql.functions._意思添加所有函数支持
2020-07-23 19:17:48
463
原创 Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/kafka/common/..
问题在idea编写的spark直连Kafka任务，运行时报错：Spark fails with NoClassDefFoundError for org.apache.kafka.common.serialization.StringDeserializer解决方法版本不一致导致，导入dependencies.jar.或者版本更改一致即可...
2020-07-20 22:12:20
5231
原创 如何使用Spark计算共同好友？
文章目录写在前面描述计算MapReduce计算共同好友job1的mapper类job1的Reducer类job1的客户端job2的Mapper类job2的Reducer类job2的客户端写在前面你们好我是啊晨 ，一个大数据分享者兼一个努力成为大垃圾的小垃圾本章介绍，使用spark计算共同好友，相信看这篇文章之前都有了解做过MapReduce的共同好友，文章后会有MapReduce的方法，大家自行比较一下哈。如有其它需要请阅读我的其它大数据文章，谢谢中间有什么问题请留言，请珍惜现在的时间：描
2020-07-18 11:07:13
818
原创 一定要学习的Hive SQL的50道练习题
文章目录写在前面建表准备建表生成数据导入数据到hive需求1.查询课程编号为“01”的课程比“02”的课程成绩高的所有学生的学号（重点）：2、查询"01"课程比"02"课程成绩低的学生的信息及课程分数（重点）:3、查询平均成绩大于等于60分的同学的学生编号和学生姓名和平均成绩（重点）:4、查询平均成绩小于60分的同学的学生编号和学生姓名和平均成绩:(包括有成绩的和无成绩的)5、查询所有同学的学生编号、学生姓名、选课总数、所有课程的总成绩:6、查询"李"姓老师的数量:7、查询学过"张三"老师授课的同学的信息(
2020-07-05 19:58:06
10564
21
原创 VMWare虚拟机找不到eht0解决办法
文章目录遇到的问题解决复制网卡物理地址编辑/etc/udev/rules.d/70-presistent-net.rules 文件修改ifcfg-eth0配置文件重启遇到的问题找不到eth0而生成eth1，原因是VM虚拟机已经复制了,虚拟机会在开机时检查网卡物理地址是否已经存在,如果存在就生成另一个物理地址并把网卡eth0–>eht1;如果复制多次将是eth1–>eth2…依次往后;你复制虚拟机次数越多,ifconfig看到的网卡号越大。VM虚拟机在复制时，VM会新建一个UUID,一些新的
2020-07-02 13:44:20
1501
原创 关于事务你真的知道吗？
文章目录写在前面事务事务四大特性：（ACID）分布式事务常见的分布式事务解决方案基于XA协议的两阶段提交消息事务+最终一致性TCC编程模式总结一下吧事务的并发问题MySQL 事务隔离级别写在前面你们好我是啊晨 ，一个大数据分享者兼一个努力成为大垃圾的小垃圾今天讲一些事务，面试什么还是挺多问的。如有其它需要请阅读我的其它大数据文章，谢谢中间有什么问题请评论留言。要么忙着活，要么忙着死，请珍惜现在的时间：事务问：什么是事务呢？答： 单个逻辑单元执行的一组操作，要么全成功，要不全失败
2020-06-17 21:23:55
279
原创 大数据技术之flink（7）end
文章目录前言第十一章Flink CEP 简介❤ღ( ´･ᴗ･` )比心前言你们好我是啊晨今儿更新spark 技术Spark Streaming。废话不多说，内容很多选择阅读，详细。请：第十一章Flink CEP 简介11.1 什么是复杂事件处理 CEP一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。特征：目标：从有序的简单事件流中发现一些高阶特征输入：一个或多个由简单事件构成的事件流处理：识别简单事件之间的内在联系，多个符合一定规则
2020-06-12 22:29:56
439
原创 大数据技术之flink（6）
文章目录前言❤ღ( ´･ᴗ･` )比心前言你们好我是啊晨今儿更新spark 技术Spark Streaming。废话不多说，内容很多选择阅读，详细。请：第十章Table API 与 SQLTable API 是流处理和批处理通用的关系型 API，Table API 可以基于流输入或者批输入来运行而不需要进行任何修改。Table API 是 SQL 语言的超集并专门为 Apache F...
2020-06-12 18:58:26
299
原创 大数据技术之flink（5）
文章目录前言❤ღ( ´･ᴗ･` )比心前言你们好我是啊晨今儿更新spark 技术Spark Streaming。废话不多说，内容很多选择阅读，详细。请：第九章 状态编程和容错机制流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过 90 度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。 所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。 所有用于复杂事件处
2020-06-12 18:40:09
442
原创 大数据技术之flink（4）
文章目录前言❤ღ( ´･ᴗ･` )比心前言你们好我是啊晨今儿更新spark 技术Spark Streaming。废话不多说，内容很多选择阅读，详细。请：第八章 ProcessFunction API（底层 API）我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如 MapFunction 这样的 map 转换算子就无法访问时间戳或者当...
2020-06-12 17:27:02
411
原创 大数据技术之flink（3）
文章目录前言❤ღ( ´･ᴗ･` )比心前言你们好我是啊晨今儿更新spark 技术Spark Streaming。废话不多说，内容很多选择阅读，详细。请：第六章Flink 中的 Window6.1 Window6.1.1 Window 概述streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是...
2020-06-11 20:09:37
365
2
原创 大数据技术之flink（2）
文章目录前言❤ღ( ´･ᴗ･` )比心前言你们好我是啊晨今儿更新spark 技术Spark Streaming。废话不多说，内容很多选择阅读，详细。请：第四章 Flink 运行架构4.1 Flink 运行时的组件Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器（JobManager）、资源管理器（ResourceManager）、任务...
2020-06-11 18:08:45
330
原创 大数据技术之flink（1）
文章目录前言存储JobManager的元数据到HDFS❤ღ( ´･ᴗ･` )比心前言你们好我是啊晨今儿更新spark 技术Spark Streaming。废话不多说，内容很多选择阅读，详细。请：第一章 flink简介1.1大数据4代计算引擎第1代——Hadoop MapReduce批处理Mapper、Reducer流处理Strom第2代——DAG框架（Tez） + Map...
2020-06-09 09:41:50
577
1
原创 Hive调优及Hive综合案例（3）
文章目录前言❤ღ( ´･ᴗ･` )比心前言你们好我是啊晨今儿更新hive技术废话不多说，内容很多选择阅读，详细。请：一、Hive调优1.1 Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到...
2020-06-06 16:28:09
909
2
原创 Hive：HQL之DQL（2）
文章目录前言❤ღ( ´･ᴗ･` )比心前言你们好我是啊晨今儿更新hive技术废话不多说，内容很多选择阅读，详细。请：一、HQL语句之DQL使用DQL查询语句语法：SELECT [ALL | DISTINCT] select_expr, select_expr, … FROM table_reference [WHERE where_c...
2020-06-04 22:45:53
319
原创 Hive概述及HQL之DDL、DML（1）
文章目录前言一、数据仓库介绍二、Hive基本概念三、Hive的架构原理四、Hive安装部署五、 Hive数据类型六、 DDL数据定义Partition Informationcol_name data_type comment七、 DML数据操作❤ღ( ´･ᴗ･` )比心前言你们好我是啊晨今儿更新hive技术废话不多说，内容很多选择阅读...
2020-06-03 21:27:57
761
5
原创 DAL、DAO、ORM、Active Record讲解
目录模型(Model)持久层(Persistence)DAL(Data Access Layer，数据访问层)DAO(Data Access Object，数据访问对象)ORM(Object/Relational Mapping，对象-关系映射)NHibernateActive Record模型(Model)模型是MVC中的概念，指的是读取数据和改变数据的操作（业务逻辑）。一开始我们直接把和数据库相关的代码放在模型里(sql直接写在代码中)，这样就会导致以后的维护相当麻烦。业务逻辑的修改都需要开发者重新
2020-06-03 11:46:20
1163
原创 解决gist.github.com 无法访问方法
只需要在Windows修改hosts文件即可win+e快速打开我的电脑输入路径：C:\Windows\System32\drivers\etc\hosts然后编辑在最后添加如下内容：192.30.253.118 gist.github.com185.199.110.153 github.io151.101.113.194 github.global.ssl.fastly.net52.216.227.168 github-cloud.s3.amazonaws.com52.74.223.119
2020-06-02 11:35:11
3487
原创 win10如何配置Java环境变量
本章全部内容下载安装此电脑-属性-高级系统设置-环境变量系统变量-新建-CLASSPATH系统变量-新建-Java_Home在“系统变量”中找到“Path”，选中”Path“点击”编辑“选项测试：电脑桌面，按快捷键“Win+R”，输入“cmd”写到最后下载没有的点这里到官网下载即可。我这是jdk-8u11-windows-x64.exe（win7和10有差异win7另搜其它）安装一路下一步默认即可此电脑-属性-高级系统设置-环境变量系统变量-新建-CLASSPATH变量名：CLASS
2020-05-28 16:29:46
1818
2
原创 Spark Streaming详细文本教学02
文章目录前言四、Spark Streaming解析4、DStreams转换启动统计程序：[bigdata@master01 ~]$ ./hadoop/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --class com.bigdata.streaming.WorldCount ./statefulwordcount-jar-with-dependencie...
2020-03-16 00:29:38
321
原创 Spark Streaming详细文本教学01
文章目录前言TERMINAL 1:Running Netcat未完の前言你们好我是啊晨今儿更新spark 技术Spark Streaming。废话不多说，内容很多选择阅读，详细。请：一、Spark Streaming概述1、什么是Spark StreamingSpark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Strea...
2020-03-16 00:06:51
628
原创 Spark Sql详细文本教学01
文章目录前言一、Spark SQL概述1、什么是Spark SQL2、 RDD vs DataFrames vs DataSet（1）RDD（2）Dataframe（3）Dataset（4）三者的共性（5）三者的区别二、执行SparkSQL查询1、命令行查询流程2、IDEA创建SparkSQL程序三、SparkSQL解析1、新的起始点SparkSession2、创建DataFrames3、Data...
2020-03-02 22:53:36
542
原创 Spark Core详细文本教学02-3
文章目录前言三、键值对RDD1、键值对RDD的转化操作（1）转化操作列表（2）聚合操作（3）数据分组（4）连接（5）数据排序2、键值对RDD的行动操作3、键值对RDD的数据分区（1）获取RDD分区的方式（2）Hash分区方式（3）Ranger分区方式（4）自定义分区方式（5）分区shuffle优化（6）基于分区进行操作（7）从分区中获益的操作四、数据读取与保存五、RDD编程进阶1、广播变量（1）广...
2020-03-02 22:04:44
381
原创 Spark Core详细文本教学02-2
文章目录前言二、 RDD编程1、编程模型2、RDD创建（1）由一个已经存在的Scala集合创建，集合并行化。（2）读取文件生成（3）其他方式3、TransFormation（1）map(func)（2）mapPartitions(func)（3） flatMap(func)（4）filter(func)（5） mapPartitionsWithIndex(func)（6） distinct([nu...
2020-03-01 23:27:22
227
原创 Spark Core详细文本教学02-1
文章目录前言一、RDD概念 弹性分布式数据集1、RDD为什么会产生2、RDD概述（1）什么是RDD（2） RDD的属性（3） RDD的弹性3、RDD特点（1）分区（2）只读（3）依赖（4）缓存（5）CheckPoint未完前言你们好我是啊晨现在更新spark core，上篇讲了spark的介绍，下面将具体，这篇是spark核心。废话不多说，内容很多选择阅读就好，很详细。请：一、RDD...
2020-03-01 22:45:38
308
原创 关于HBase 02
文章目录前言一、HBase原理之读流程二、HBase原理之写流程三、HBase原理之数据Flush流程四、HBase原理之数据合并流程五、Java API操作HBase5.1 环境准备5.2 HBase API5.2.1 获取Configuration对象5.2.2 判断表是否存在5.2.3 创建表5.2.4 删除表5.2.5 向表中插入数据5.2.6 删除一行&多行数据5.2.7 获取所...
2020-02-23 22:32:52
232
原创 Spark详细文本教学01
文章目录前言一、Spark概述1、什么是Spark2、Spark特点3、Spark的用户和用途二、Spark角色介绍及运行模式1、集群角色2、运行模式3、Spark的常用术语三、Spark集群安装1、Spark安装地址2、Standalone模式安装3、配置Job History Server【Standalone】4、HA配置5、Yarn模式安装四、IDEA环境应用1、在IDEA中编写WordC...
2020-02-23 22:08:48
983
原创 Scala详细文本教学04
前言你们好我是啊晨，前些天偷懒了下首先呢还是那句话，内容很多，分为几篇，选择阅读就好，很详细。下面请：一、Scala 方法Scala 有方法与函数，二者在语义上的区别很小。Scala 方法是类的一部分，而函数是一个对象可以赋值给一个变量。Scala 中的方法跟 Java 的类似，方法是组成类的一部分。Scala 中使用 val 语句可以定义函数，def 语句定义方法。class T...
2020-02-23 21:16:47
277
原创 Scala详细文本教学03
文章目录前言一、类1、类的定义2、Getter Setter方法3、Bean属性4、构造器二、对象1、单例对象2、伴生对象3、apply方法4、应用程序对象三、继承1、继承类2、重写方法3、类型检查和转换4、超类的构造5、重名字段6、抽象类7、特质1）不允许多重集成2）当做接口使用的特质3)带有具体实现的特质四、模式匹配和样例类1、匹配字符串2、匹配类型3、匹配数组、列表、元组4、样例类5、Opt...
2020-02-17 12:36:11
277
原创 Scala详细文本教学02
文章目录前言一、数组1、定长数组和变长数组2、遍历数组3、数组转换4、数组常用算法二、元组1、创建元组2、获取元组中的值3、元组的遍历4、将对偶的集合转换成映射5、拉链操作三、集合1、序列2、Set3、Map4、队列 Queue四、映射1、构建映射2、获取和修改映射中的值五、常用函数1、map flatmap：2、化简、折叠3、扫描4、迭代器未完。。前言你们好我是啊晨首先呢，内容很多，分为几...
2020-02-11 22:58:35
499
原创 Scala详细文本教学01
文章目录前言一、Scala概述1、什么是Scala2、为什么要学Scala二、Scala编译器安装1、安装JDK2、安装Scala（1）Windows安装Scala编译器（2）Linux安装Scala编译器（3）Scala开发工具安装三、Scala基础1、声明变量2、常用类型3、常用类型结构图4、算数操作符重载5、条件表达式6、块表达式7、循环（1）while表达式（2）for表达式8、调用方法和...
2020-02-10 22:53:00
430
原创 Hive显示当前使用的数据库
文章目录1、在hive命令行执行语句显示当前数据库：2、设置hive属性在命令行显示当前数据库：1、在hive命令行执行语句显示当前数据库：select current_database();2、设置hive属性在命令行显示当前数据库：set hive.cli.print.current.db=true;...
2020-02-09 13:17:04
1424
原创 java.lang.NoSuchMethodException: tk.mybatis.mapper.provider.base
错误提示：java.lang.NoSuchMethodException: tk.mybatis.mapper.provider.base使用通用mapper时要注意导入的是tk.mybatis.spring.annotation.MapperScan若没有使用通用mapper将“tk”,换成“org”即可。...
2020-02-08 13:54:29
632
原创 你还不知道HBase？01
文章目录一、HBase概述1.1 HBase的定义1.2 HBase的特点1.3HBase机制原理图1.4 HBase中的角色1.4.3 其他组件二、HBase安装2.1 部署Zookeeper2.2 部署Hadoop2.3 安装部署HBase三、HBase Shell操作四、HBase数据结构4.1 HBase RowKey设计4.2 Column Family4.3 Time Stamp4.4...
2020-01-10 14:35:09
277
原创 你要的Hadoop HA详解
文章目录一、HDFS HA1、HA概述2、HDFS-HA工作机制1)HDFS-HA工作要点2)HDFS-HA自动故障转移工作机制3、HDFS-HA集群配置1)环境准备2)规划集群3)配置Zookeeper集群（4）集群操作二、YARN-HA1、YARN-HA工作机制2、配置YARN-HA集群1)环境准备2)规划集群3)具体配置4)启动hdfs一、HDFS HA1、HA概述（1）所谓HA（hi...
2020-01-03 21:22:01
472
原创 zookeeper感知服务器节点动态上下线案例
大家好，我是AC，下面是关于zookeeper的一个案例，供练习关于zookeeper，请看上一篇文章文章目录（1）服务器端代码（2）客户端代码1）需求：某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线2）需求分析3）具体实现：（0）先在集群上创建/servers节点[zk: localhost:2181(CONNECTED) 10...
2020-01-03 20:57:43
533
原创 ZooKeeper分布式协调服务组件
大家好今天介绍zookeeper，废话不多说，进入正题文章目录Zookeeper概述1.1 概述1.2 特点1.3 数据结构1.4 应用场景1.5 下载地址Zookeeper安装2.1 分布式安装部署Zookeeper内部原理3.1 选举机制3.2 节点类型3.3 stat结构体3.4 监听器原理3.5 写数据流程(client向zookeeper写入数据)第4章 Zookeeper实战4.1 ...
2020-01-03 20:51:35
400
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人