- 博客(47)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Python学习---基于HTTP的服务端基础框架搭建案例
整体功能：整体功能：1 创建框架构建相关的文件夹2 创建app,模块文件3 在 app模块文件中创建application函数(用于处理请求)4 将request_handler()中的处理逻辑交由app模块的application函数完成5 app模块的 application函数返回响应报文6 在application 文件夹中创建一个utils 模块7 utils 模块中创建 create_http_response() 函数，专门用来拼接响应报文。
2024-05-22 01:31:05
107
原创 Python学习---基于HTTP协议的Web服务器请求响应案例
1 Web服务器能够绑定固定端口2 Web服务器端能够接收浏览器请求3 Web服务器遵守HTTP协议﹐并返回"HelloWrold""字符串给浏览器4 当浏览器关闭后，Web服务器能够显示断开连接5 Web服务器短时间内重后，不会提示 address already in use错误。
2024-05-21 23:00:02
65
原创 Python学习---基于TCP协议的网络通信程序案例
●TCP 面向连接、可靠的、基于字节流的传输控制协议●TCP的特点○面向连接○可靠传输■应答机制■超时重传■错误校验■流量管控●TCP通信模型TCP严格区分客户端、服务端。
2024-05-21 14:00:16
260
原创 hadoop学习---Hive分桶表的机制及其查询优化方案
分桶是将数据集分解成更容易管理的若干部分的一个技术，是比分区更为细粒度的数据范围划分。主要是用于分文件的，在建表的时候，指定按照那些字段执行分桶操作，并可以设置需要分多少个桶，当插入数据的时候，执行MR的分区的操作，将数据分散各个分区(hive分桶)中，默认分发方案: hash 取模。
2024-05-05 10:45:37
1062
原创 hadoop学习---基于Sqoop的文件导入导出操作
譬如ID的范围是0-800,那么Sqoop默认运行4个进程,通过执行ISELECTMIN(id)，MAX(id) FROM emp找出id的范围,然后把4个任务的id设置范围是(0-200),(200-400)(400-600).(600-800)但请注意，这样做的前提是这些文件的结构和内容必须是一致的，即它们应该都是同一份数据的切片或者是完全相同结构的数据。6. 带有主键约束的mysql表，要注意导出的数据的主键约束的情况，不能重复。4. 导出时，mysql的表的字段数与hdfs上的列数可以不相同。
2024-05-02 11:45:52
945
原创 hadoop学习---基于Hive的航空公司客户价值的LRFCM模型案例
在客户分类中，RFM模型是一个经典的分类模型，模型利用通用交易环节中最核心的三个维度——最近消费(Recency)、消费频率(Frequency)、消费金额(Monetary)细分客户群体，从而分析不同群体的客户价值。在某些商业形态中，客户与企业产生连接的核心指标会因产品特性而改变。如互联网产品中，以上三项指标可以相应地变为下图中的三项：最近一次登录、登录频率、在线时长。
2024-05-01 10:46:04
2158
5
原创 Linux配置MySQL数据库报错---ERROR 1193 (HY000): Unknown system variable ‘policy‘解决
【代码】Linux配置MySQL数据库报错---ERROR 1193 (HY000): Unknown system variable ‘policy‘解决。
2024-04-28 13:02:46
250
原创 Linux安装MySQL报错ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)
在[mysqld]后面任意一行添加“skip-grant-tables”用来跳过密码验证的过程。如果在数据库中刷新权限后会失效，需要重新启动MySQL服务后再进入数据库，还是建议设置密码。1.输入密码错误，注意大小写，空格特殊字符串。要输入密码的时候直接回车进入即可。
2024-04-28 12:53:28
365
原创 File contains parsing errors: file:///etc/yum.repos.d/nginx.repo报错解决，文件配置出现问题
解决方案：yum的配置文件出现问题，.repos.d目录下所有文件。
2024-04-28 12:07:29
391
原创 PySpark学习---销售情况数据统计分析案例
其中所有的服务都要开启，尤其注意hive的元数据存储服务和远程jdbc连接服务，看看9083端口，可能是集群中的任何一个节点，所有节点试着找一遍。导包的时候最好一个一个功能的导，不要用import * ，这个可能会导致未知错误，一些重复命名等问题。4.TOP3省份中，各个省份的支付类型。2.TOP3销售省份中，有多少家店铺。3.TOP3省份中各个省份的。1.将需求结果写出到。
2024-04-25 17:55:54
468
1
原创 SparkSql学习---链接MySQL数据库并更新数据
要先向环境中添加mysql的jar包：数据库端口：3306用户：root密码：root数据库：spark。
2024-04-24 11:37:23
318
原创 SparkSQL学习
1.和 Hive同样，都是用于大规模SQL分布式计算的计算框架，均可以运行在YARN本上，在企业中广泛被应用2. SparkSQL的数据抽象为:SchemaRDD（废弃)、DataFrame (Python、R、Java、Scala ) .DataSet (Java、scala)。3. DataFrame同样是分布式数据集，有分区可以并行计算，和RDD不同的是，DataFrame中存储的数据结构是以表格形式组织的，方便进行SQL计算。
2024-04-23 22:39:02
213
原创 spark学习---面试题
3.一个阶段的内部都是窄依赖，窄依赖内,如果形成前后1:1的分区对应关系,就可以产生许多内存迭代计算的管道。5.一个Task是一个具体的线程,任务跑在一个线程内,就是走内存计算了.4.这些内存迭代计算的管道,就是一个个具体的执行Task。2.DAG图会基于分区和宽窄依赖关系划分阶段。1.Spark会产生DAG图。
2024-04-23 15:01:52
84
1
原创 PySpark学习----RDD副本cache和checkpoint
Cache是轻量化保存RDD数据,可存储在内存和硬盘,是分散存储,设计上数据是不安全的(保留RDD血缘关系)CheckPoint是重量级保存RDD数据,是集中存储,只能存储在硬盘(HDFS)上，设计上是安全的(不保留RDD血缘关系)
2024-04-22 20:11:56
203
【考研制胜法宝】‘408全科思维导图’：一键解锁知识迷宫，点亮考研通关之路
2024-04-21
决胜期末&考研：精选离散数学全章习题集
2024-04-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人