小小良

1、Flink时间管理（满足不同场景需要）https://zhuanlan.zhihu.com/p/3997518872、Flink中watermark机制（处理数据延迟和数据乱序问题）（解决数据丢失）https://blog.51cto.com/u_12824426/2581930

原文地址：https://zhangboyi.blog.csdn.net/article/details/114288304

配置Hadoop集群客户端版本更新内容备注v1.0创建文档2020-10-11v1.1新增词根相关2021-01-06Markdown在线编辑器：http://www.mdeditor.com在Hadoop和Spark集群搭建好了之后，如果我们需要向集群中发送、获取文件，或者执行MapReduce、Spark作业，通常是搭建一个外围的、集群的客户端，在这个客户端上进行操作。而不是直接在集群的NameNode或者DataNode上进行。此时，集群和客户端的结.

以下文字摘自网络，内心共鸣，随写于此26岁，你看着身边的人都结了婚婚礼的份子钱逐年递增春节回家，父母从带你串亲戚变成了带你去见相亲对象见了十几个姑娘你每次都觉得和那个她比差了一点28岁那年，你遇到了一个和你遭遇差不多的姑娘你们有一搭没一搭的聊着她说，你还不错你喝了一口可乐说：你也是你还不确定喜不喜欢她双方家长就已经摆好了订婚宴结婚的前一周，你和朋友出去喝酒你说，不想结婚朋友说，你啊，就是想太多，谁不是这么过来的？ 这辈子.29岁，你们终于结了婚婚礼办的不..

参考文章：hive分桶管理https://blog.csdn.net/freefish_yzx/article/details/77150714hive的分区和分桶https://blog.csdn.net/wl1411956542/article/details/52931499---------------------------------------------------------------------------------------------------------

在从OLTP业务数据库向DW数据仓库抽取数据的过程中，特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题：业务数据库中的一些数据发生了更改，到底要不要将这些变化也反映到数据仓库中？在数据仓库中，哪些数据应该随之变化，哪些可以不用变化？考虑到这些变化，在数据仓库中的维度表又应该如何设计以满足这些需要。很显然在业务数据库中数据的变化是非常自然和正常的，比如顾客的联系方式，手机号码等信息可能随着顾客的所在地的更改发生变化，比如商品的价格在不同时期有上涨和下降的变化。那么在业务数据库中，很自然的就...

1、监控MySQL磁盘容量如果想知道MySQL数据库中每个表占用的空间、表记录的行数的话，可以打开MySQL的information_schema数据库。在该库中有一个TABLES表，这个表主要字段分别是：TABLE_SCHEMA:数据库名TABLE_NAME：表名ENGINE：所使用的存储引擎TABLES_ROWS：记录数DATA_LENGTH：数据大小INDEX_LENGTH：索引大小其他字段请参考MySQL的手册，我们只需要了解这几个就足够了。所以要...

// 在控制台执行：spark-shell// ------------------------------------------------------// 一、元素型 RDD数据val rdd = sc.parallelize(1 to 10, 3) => rdd: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)// transformation 转换，记录了RDD演变的过程，只有action才会触发transformatio.

一、如何给证件照换底色1、打开Excel，点击【插入】>【图片】2、选择需要更换底色的照片，然后点击【插入】3、此时工作表中就添加了需要更换底色的照片。（白色比较复杂，如果白色会更换了，其它颜色就不在话下了）4、选中图片，在弹出的格式菜单中选择最左侧的【删除背景】工具5、同时配合【标记要保留的区域和】和【标记要删除的区域】将照片中颜色几乎相同的白色衬衣标记为要保留的区域。然后点击【保留更改】6、此时点击图片以外的区域，我们看到的照片就是已经去除背景色的照片了，.

1、热度算法和个性化推荐http://www.woshipm.com/pmd/723735.html

开发前的声明 udf开发是在数据分析的时候如果内置的函数解析不了的情况下去做的开发，比方说你只想拆分一个字段，拼接一个字段之类的，就不要去搞udf了，这种基本的需求自带函数完全支持，具体参数可参考文档： http://spark.apache.org/docs/latest/api/sql/search.html?q=cast 里面列举了所有函数的介绍和使用，推荐优先使用官方推出的，因为自己写的udf如果对一些异常处理不到位可能会导致数据分析的失败或者意...

1、贝叶斯案例3：文本关键词提取、新闻分类（python实现）https://blog.csdn.net/PbGc396Dwxjb77F2je/article/details/78786984

参考博客：https://www.cnblogs.com/JaneZSS/p/6678548.html

https://www.cnblogs.com/chaoren399/p/10709483.html

Scala中常用特殊符号

Linux三剑客之awk命令

1、安装相应sdk及环境变量配置（1）安装java-sdk（2）安装scala-sdk（3）安装spark2、安装IDEA从官网下载安装包，常规安装，在Plugins中添加所需的插件，scala等3、maven配置打开maven存放文件夹找到 conf ->settings.xml找到<mirrors>节点把下面内容写入节点内 配置为阿里云的镜像　　<mirror> <id>alimaven</id>

个人感觉有帮助的，就不复制了，链接如下：https://blog.csdn.net/songhaifengshuaige/article/details/79480491

摘要 如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识，然后就是对各个层级关系有一个清晰的认识后，才能真正的掌握它，对于sparkSQL整体框架这一块，在前一个博客已经进行过了一些介绍，如果对这块还有疑问可以看我前一个博客：http://9269309.blog.51cto.com/9259309/1845525。本篇博客主要是对sparkSQL实战进行讲解和总结，而不是对sparkSQL源码的讲解...

这篇博客的目的是让那些初次接触sparkSQL框架的童鞋们，希望他们对sparkSQL整体框架有一个大致的了解，降低他们进入spark世界的门槛，避免他们在刚刚接触sparkSQL时，不知所措，不知道该学习什么，该怎么看。这也是自己工作的一个总结，以便以后可以回头查看。后续会对sparkSQL进行一系列详细的介绍。慢慢来吧~~~1、sql语句的模块解析 当我们写一个查询语句时，一般包含三个部分，select部分，from数据源部分，where限制条件部分，这三部分的内容在sql中有专门的名称：..