- 博客(61)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 Spark SQL JOIN 异常问题调优(Hint方式)
Spark SQL JOIN 异常问题调优(Hint方式)1.大表关联小表 (显式广播小表)在SQL中加入广播的提示示例：-- test_table_a row_count=1000W-- test_table_b row_count=500SELECT /*+ BROADCAST(t2) */ t1.id ,t2.nameFROM test_table_a t1LEFT JOIN test_table_b t2 ON t1.id = t2.id这里的 /*+ BROAD
2022-05-14 13:31:26
1774
1
原创 Spark RDD JOIN 调优
Spark RDD JOIN 调优一、 大表关联小表1. 小表数据量非常小时一般当副表的数据比较小时，可以考虑将这部分的小表数据直接加载到内存中，如加工成为一个Map 结构的对象，在使用的时候将这个对象广播到各个Executor中。在广播时需要注意广播的这个数据集的大小，如果太大就会得不偿失，因为广播的实质其实就是把同一份数据集对象复制多份，然后通过序列化的方式将数据集分发到各个Executor中，所以如果集合太大那么会占用过多的网络带宽和内存。在使用广播变量的时候还需要注意，如果直接在一个ma
2022-04-15 15:59:25
2649
原创 Python 之利用循环队列实现窗口滑动计算
文章向导实现链表实现循环队列源代码：实现链表代码实现创建一个链表节点连接两个链表节点打印链表的结构图遍历每个链表节点遍历每个链表节点的值实现循环队列代码实现初始化一个循环队列向队列中添加元素遍历队列中的元素值打印队列结构图弹出队列的头部元素压入元素超出队列的设定容量时自动弹出头部元素利用循环队列实现窗口滑动计算源代码：class LinkedList(object):
2021-01-31 14:32:33
716
1
原创 浅谈使用 Python 进行自动化测试
文章向导What is Python ?各种语言编写Hello World 程序的对比如何使用 Python ‘偷懒’什么是爬虫？在正式进入爬虫的世界当中我们还需要一点点前端的知识当浏览器浏览一个网站时发生了什么？Request 是什么？Response 包含什么？开始一个最简单的爬虫Step1 模拟HTTP请求Step2 添加请求头数据处理JSON 数据处理结构化数据处理Selenium 一个强大的Web自动化测试工具什么是Selenium？利用 python 的Selenium库来操作浏览器step1
2020-10-24 20:50:22
916
原创 SQL数据补全问题
一、造数据DROP TABLE IF EXISTS sc;CREATE TABLE sc ( stu_no VARCHAR(4) COMMENT '学号', class_no VARCHAR(4) COMMENT '课程号', grade INT(2) COMMENT '成绩' );DROP TABLE IF EXISTS class;CREATE TABLE class ( class_no VARCHAR(4) COMMENT '课程号', class_
2020-10-24 14:43:02
3573
1
原创 使用SQL优雅的计算日期连续性问题
文章向导一、造数据二、查看数据结构三、需求（计算出数据中每个用户的最长连续访问年数）一、造数据DROP TABLE IF EXISTS CSDN_TEST;CREATE TABLE CSDN_TEST ( user_id CHAR(4) COMMENT '用户id', access_year INT(4) COMMENT '访问年');INSERT INTO CSDN_TEST VALUES ('0001',1999),('0002',1999),('0001',2000),('00
2020-10-24 13:49:50
2577
原创 浅析数据仓库与OLAP
文章向导数据仓库1.什么是数据仓库？（1）面向主题的（2）集成的（3）相对稳定的（4）反映历史变化2.数据仓库架构（1）DB (Database 缩写)(2) ETL (抽取（extract）、转换（transform）、加载（load）)(3) ODS （Operation Data Store 操作数据层）(4) DW （Data Warehouse 数据仓库）(5) DM（Data Mart 数据市集）OLAPApache Kylincube数据仓库1.什么是数据仓库？官方解释数据仓库，英文
2020-10-24 11:51:08
3718
原创 自定义代码实现UserCF——基于用户的协同过滤算法
一、什么是基于用户协同过滤算法我觉得概念讲高大上了，并没有什么用，反而还难以理解。我就用通俗的语言来描述一下这个算法的逻辑吧。这个算法的核心就是这样的：当前如果有一个用户 A 他正在等待被推荐，这时我们就会找出平时的行为和 A 相似的用户 B ,然后我们再讲用户 B 在意或者感兴趣的且 A 还没浏览过的商品推荐给 A ;这就是基于用户的协同过滤算法。二、如何计算相似度在前面我们了解到了UserCF的算法逻辑了之后，可能你会发现概念中有一个很重要的点就是，计算与A相似的用户，我们用什么一个标准来衡
2020-06-05 11:32:35
1260
原创 Redis快速入门指南(内附分布式锁实现过程)
Redis快速入门指南一、redis 安装与配置进入官网复制下载地址官网地址进入终端使用命令下载rediswget http://download.redis.io/releases/redis-6.0.1.tar.gz进入文件下载的目录解压压缩包tar -zxvf redis-6.0.1.tar.gz -C ./# 创建一个软连接ln -s redis-6.0.1 redis```进入解压后的目录使用make命令进行编译make MALLOC=lib
2020-05-17 19:22:53
515
2
原创 快速排序真的没你想的那么难
前言:作为一名程序猿，大家应该或多或少都听过快速排序的大名，可能很多小伙伴最初接触到快排的时候是在数据结构的课上。当时课上可能恍恍惚惚的听懂了，但是后面又没下来继续钻研，就又把这个知识点还回去了，其实快排真的没有想象中的那么难，本文将先从思路较为简单的递归入手，然后再利用非递归的方式实现快速排序。好了，进入今天的主题吧。文章向导一、快速排序的原理二、使用递归实现快排算法三、非递归方式实现(拓展)*四、时间复杂度分析一、快速排序的原理分区分区是快排中一个非常重要的环节，快排将从数组中间位置作为分
2020-05-14 17:56:27
1417
1
原创 通过异或运算优雅的交换两个变量
文章导向：一、常见的交换两个变量的方法二、什么是异或？三、使用异或的方式交换变量一、常见的交换两个变量的方法使用临时变量的方法这个方法应该是大家喜闻乐见的方式，也是最常用最容易想到的。刚踏入编程世界的小伙伴肯定一来就最先是接触这种方法，先看代码吧：#include<iostream>using namespace std;int main(){ int a=5; int b=15; int temp=0; temp = a; a = .
2020-05-13 15:05:30
619
原创 逻辑回归——梯度下降法（原理推导和自定义代码实现）
往期线性回归文章:线性回归——二维线性回归方程（证明和代码实现）线性回归——最小二乘法（公式推导和非调包实现）线性回归——梯度下降法（公式推导和自定义代码实现）前言:前面博主已经做了三期的线性回归算法的推导了,我们今天换个主题,再来谈谈逻辑回归的原理,算法逻辑,和如何自定义代码实现这个算法,因为本文会提到梯度下降法的一些用法,但是由于梯度下降法的原理博主在前一篇文章中已经详细介绍了梯度下降法的原理.所以本文会侧重于算法中梯度下降方向的公式推导,至于这样做为什么会得到最优解,不清楚的读者不妨参考博主
2020-05-10 16:27:47
6100
4
原创 线性回归——梯度下降法（公式推导和自定义代码实现）
接上一篇文章 线性回归——最小二乘法（公式推导和非调包实现）前言:不知不觉已经做了几期的线性回归的算法博文了,写博文就是这样虽说自己经理解了,但是讲出来别人却不一定能够听懂,因为自己写博文肯定是跟着自己的习惯和思路走的,对于读者来说就并不那么好懂.如果你看过博主往期的算法讲解应该会发现博主在证明原理讲解时内容都普遍啰嗦,本来可以一笔带过的地方,可还是会花篇幅去讲解.可能是有强迫症吧,我觉得既然...
2020-05-07 21:40:16
9881
5
原创 线性回归——最小二乘法（公式推导和非调包实现）
接上一篇文章【线性回归——二维线性回归方程（证明和代码实现）】前言：博主前面一篇文章讲述了二维线性回归问题的求解原理和推导过程，以及使用python自己实现算法，但是那种方法只能适用于普通的二维平面问题,今天博主来讲一下线性回归问题中更为通用的方法,也是我们实际开发中会经常用到的一个数学模型,常用的解法就是最小二次乘法和梯度下降法.博主今天对最小二乘法进行推导并使用Python代码自定义实现,...
2020-05-06 18:02:30
2622
1
原创 线性回归——二维线性回归方程（证明和代码实现）
前言:前面一章推到以一下常用的几个距离公式,今天要来说一下机器学习中非常常用的一个算法,线性回归，这篇文章主要讲述的是二维情况下的线性回归问题.写这篇文章的目的有三个:一是利用平台做一次笔记;二是通过自己的理解看能够把这个知识点讲清楚也是判断自己是否掌握了;三是为后面有需要的小伙伴提供一个参考吧.不啰嗦了,开始进入正题:一、原理讲述这个应该上过高中的小伙伴都听过,也都用过,那是在高中必修...
2020-05-05 20:26:46
4145
1
原创 近邻算法常用距离公式与推导（内附证明）初中生也能看懂
一. 欧式距离其实这个名字听起来很高大上，但是其实你在初中的时候就用过，只是那时还没给他一个官方的名字，你肯定做过这样的题，在直角坐标系中给定两点A(x1,y1),B(x2,y2)A(x_1,y_1),B(x_2,y_2)A(x1,y1),B(x2,y2)然后让你计算两个点之间的距离。老师肯定也教过你过这个公式 d=(x1−x2)2+(y1−y2)2d=\sqrt{(x_1 - x_...
2020-05-03 13:41:24
3330
1
原创 C++ 中结构体大小的计算方式
前言:说起来C++还真是一门神奇的语言，就像你的GirlFriend一样晦涩难懂，你永远不知道下一秒她的心情会是什么样的，不过好在C++它终究还是一门编程语言，工具毕竟是死的，既然是死的那就好办了，总有方法来对付它。当你点进这篇文章或许是正带着疑惑而来的，或者曾碰到过结构体的大小飘忽不定不知道怎么计算，又或许你还没有遇到过这样的问题，不过也没关系所谓未雨绸缪也不是一件坏事，今天就来给大家讲一下C...
2020-05-01 17:05:02
5336
1
原创 GitHub 入门教程——GitHub远程仓库的创建和提交拉取
前言:笔者在上一篇文章中主要讲述了Git的分支,和回溯,本章节为大家讲述一下GitHub的一些知识,还有GitHub上仓库的创建,本地仓与远程仓库之间的通信等,在这一章我们会用到GitHub这个平台,读者如果已经注册过GitHub的账号当然是最好,没有也没关系,注册很简单,只需进入官网,绑定自己的邮箱和电话号码即可完成注册,这里就不多讲,下面进入今天的正题:接专题上一篇文章一. What i...
2020-04-30 16:43:09
1066
原创 GitHub 入门教程——Git的分支,合并与回溯
前言:博主在前面一篇文章中给大家讲述了Git的一些基本概念,和一些简单的命令用法,今天这篇文章博主就来讲述一下Git中一些在我们日常的开发中会经常用到的命令,和它的使用方法,今天主要就讲分支的概念,还有合并与回溯,这里就不在啰嗦了,直接今天的正题;接专题上一篇博文一. 分支分支可谓是很多初次接触到Git的小伙伴学习之路上的一座大山,很多走到山下就怯而止路了,其实吧这个概念也不是很难,分支...
2020-04-29 18:58:55
875
原创 GitHub 入门教程—— Git的常识与快速上手
前言:或许你在看到这篇文章以前,你对Git和GitHub两者的概念还很模糊,或许你曾以为它们倆就是同一个东西,其实不然,其实两者完全是两个截然不同的东西,我们要迈进GitHub的大门就必须先跨过Git这一座大山,它们二者笔者在这里大胆的做个比喻吧Git就好比卡车,而GitHub就是一个仓库,Git的身份就是充当各个仓库之间的运输工具.当然这样的比喻也不是很恰当,作者的文采也很有限.不过相信你看了...
2020-04-28 18:26:23
517
1
原创 SSS —— Spark Structured Streaming 之单列拆分成多列
前言:你既然点开了这篇文章,说明你正在有将一列拆分成多列的需求,因为在博主前面一篇入门Spark Structured Streaming 中已经说了,在结构化流编程当中我们受到了很多的限制,就比如很多的静态的DataFrame方法在这个上面并不能使用,这就给开发上带来了很多的困扰,今天这篇文章就来讲一讲如何将一列变成多列.一. 分割函数既然要一变多那肯定少不了分割函数 ,在Spark SQ...
2020-04-26 16:13:58
1483
原创 SSS —— Spark Structured Streaming 之理解与入门
前言:最近一直忙着写项目的事情,有两天没写博客了,今天抽空来写一下博客,刚好最近也都在用Spark的这个东西,也算做一下笔记吧;唉~ Structured Streaming的学习之路可谓是步履艰辛啊,因为这个东西是Spark还没退出多久的一个概念,网上基本没有什么教程,在官方的文档上也只有一个 WordCount 的示例;博主在学习这个东西的时碰到问题,也基本上都是在StackOverflo...
2020-04-26 16:08:36
558
原创 PySpark 环境还在pip安装?
前言:可能在看到这篇文章以前,你或许一直在使用pip install 的方式来安装pyspark,有时会因为安装版本的不一致导致各种各样的错误发生,今天你狠幸运,看到了这篇文章,这里就来讲述一下Spark 的 python 开发环境搭建(注意前提是你已经安装好了spark,没安装也不要紧,可以看博主的往期的文章Spark 伪分布式搭建),好了下面进入今天的正题:一.使用本地Shell这个很简...
2020-04-26 12:46:31
5920
3
原创 Your hostname, xxx resolves to a loopback address: 127.0.1.1; using x.x.x.x instead(on interface xx)
弹出的警告是这样的:20/04/22 14:47:32 WARN util.Utils: Your hostname, zh123-PC resolves to a loopback address: 127.0.1.1; using 192.168.0.103 instead (on interface enp3s0f1)20/04/22 14:47:32 WARN util.Utils: ...
2020-04-22 15:17:55
7904
3
原创 Pysaprk sql 运行时 No module named 'col'
前言:唉~很不幸又躺了一次坑,自己在这里困惑了好久,不过吃一堑长一智,躺坑躺多了.自然而然你就成长了.不说了在这里记录一下这个坑,也好给后面的小伙伴们指条名路:是这样的我这里使用Spark 的 Struct Streaming ,说来都是累啊这个东西根本没啥教程,官网的文档也就只是说了一些简单的入门用法,但在实际开发中可谓是困难重重啊,出了问题找个解决方案太难了…正题:我的导包代码如...
2020-04-21 15:51:37
703
原创 NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java c
在Spark运行时出现下面提示NativeCodeLoader:62 - Unable to load native-hadoop library for your platform… using builtin-java classes where applicable这是一个WRAN提示,当然肯定不影响程序的运行,但终究还是看着不爽.其实这条异常信息的意思就是说它找不到Hadoop的原生...
2020-04-20 18:31:50
1621
原创 Flume自定义Sink根据日志信息拆分日志成不同的Topic发送到Kafka中
前言:最近因为疫情的原因嘛,就被一直关在了家里,也就有了大把的时间可以搞自己的事情,反正闲着也是闲着,就在家里在做一个项目,这个项目就是一个推荐系统,(后面我应该会专门来写一些博客来记录这一次的这个项目经历),在这个项目中呢有一个环节就是需要对HttpServer端产生的日志进行实时采集,然后再通过Spark 进行实时计算分析,关于日志的采集在本专题的前一篇文章中已经提到了,那样虽然也能把日志...
2020-04-19 18:37:08
1754
原创 Flume收集根据时间滚动的日志集合到Kafka中去
1. flume是个什么东西正如上面看到的Logo这样,他就是我们古时候由于交通并不发达,我们在一条河流的上游砍了很多的巨木(注意是又多又重),这么多笨重的木头我们不可能靠人力将他们运送到指定的地方吧,用交通工具又不现实(你想丛林中这么多树,你的交通工具怎么在这里面开展开来),所以聪明的古人就想到了一个法子,既然是木头,它还可以浮在水面上,何不直接把砍下来的树丢进河里,随着水流顺势而下...
2020-04-18 16:14:21
816
原创 pandas学习笔记(第五弹)
注：本教程为系列教程此章节接前面第一弹跳转到专题地址跳转到上一章本章主要讲述分组的用法16 分组聚合、过滤、转换16.1 准备数据# 设置最多显示8列数据pd.options.display.max_columns = 8collage_data = pd.read_csv("pandasLearnData/college.csv")collage_data.head(5)...
2020-04-16 17:38:06
1188
原创 pandas学习笔记(第四弹)
15 布尔索引15.1 导入数据# 以movie_title为索引列movies = pd.read_csv("./pandasLearnData/movie.csv",index_col="movie_title")movies.head(5) color director_name num_critic_for_...
2020-04-15 18:46:16
855
原创 pandas学习笔记(第三弹)
注：本教程为系列教程此章节接前面第一弹跳转到专题地址跳转到上一章本章主要讲述的是pandas中数据子集的一些获取方式14 选取数据的子集14.1 选取Series的行14.1.1 从DataFrame中获取一列作为Seriescity = college_data["CITY"]print(city)print("<"+"="*75+">")print("类型为："...
2020-04-14 13:34:30
968
原创 pandas学习笔记(第二弹)
注：本教程为系列教程此章节接前面第一弹跳转到专题地址9.选取多个DataFrame9.1 用列表选取多列# 选取不同演员的FaceBook的粉丝数movies[["actor_1_facebook_likes","actor_2_facebook_likes","actor_3_facebook_likes"]]# 错误示例：# movies["actor_1_facebook_l...
2020-04-12 17:32:01
887
原创 StumbleuponAnalysis－－逻辑回归二元分类
Spark MLlib 下的逻辑回归二元分类训练模型导入必要的包import numpy as npimport pysparkfrom matplotlib import pyplot as pltfrom pyspark.mllib.classification import LogisticRegressionWithSGDfrom pyspark.mllib.featur...
2020-04-11 15:13:06
678
原创 pandas学习笔记(第一弹)
前言: 好久就想彻彻底底的从头到尾理一遍pandas的使用方法,一直嫌太麻烦就没有记录,今天终于下定决心要把pandas彻底理清楚,这只是一部分,后面的会继续发布在此专栏当中,写的可能有一些啰嗦,但可以拿来后面忘记用法时当文档使用;1. DataFrame的结构1.1 导入必要的包import pandas as pdimport numpy as np1.2 设置pandans显示的...
2020-04-11 14:14:10
2311
原创 Spark Mllib 下的决策树二元分类 —— 网站分类(2)
模型评估在上一章节的末尾我们提到过模型的评估，那时只是简单的求了一下百分比，那种方式只能粗略的反映模型的准确率，针对二元分类算法，我们有AUC（Area under the Curve of ROC）即ROC曲线下的面积来评估模型的好坏在计算AUC之前应该先理解下面的几个概念：/真假阳TPFP阴TNFN真阳性 True Positives ( TP ...
2020-04-09 19:54:33
669
原创 何为 zookeeper？
一、定义1、字面含义来看什么是zookeeper，zookeeper从其单词的字面意思来看就是动物园管理员的意思，为什么要这样起名字呢，其实也跟这些组件有关；就hadoop而言最初名字的来源是作者的孩子有一个名为hadop的大象玩具，刚好这个单词呢也很符合容易记住的特点，然后就以它为hadoop的名字了，后面呢一系列的大数据组件都效仿，都以动物的方式进行命名，然后就有了我们的动物园（Hadoo...
2020-04-09 13:42:56
3425
原创 Pyplot 常见绘图方法
前言:Pyplot 是python中matplotlib一个强大的绘图工具,它是其内部一个简单的面向函数式的API,应付平时工作当中简单的绘图工作,其实也不能说其绘制的图比较简单,它也能应付很多复杂的图表,当然没有其另一个面向对象的API这么个性化,但是也可以应付大多数工作了,下图便是用Pyplot绘制出来的图.刚好最近在做机器学习方面的学习,对于模型的评估会用到绘图,这里就整理了一下常见的一些用...
2020-04-08 18:04:30
3898
1
原创 史上最详细的 MySQL 常用知识总结
前言:关于如何配置mysql,在博主往期的文章中已经讲过,如果还有小伙伴配置mysql有什么问题的话可以参照博主的这篇文章MySQL环境配置,然后今天呢,在这里记录一下MySQL的一些常见用法,也好给大家提供一个便利,闲话不多说,下面步入正题:1.启动与关闭MySQL服务# 启动 mysql 的两种方式sudo service start mysql# 或者:sudo /etc/init...
2020-04-08 10:24:40
368
原创 Spark Mllib 下的决策树二元分类 —— 网站分类(1)
前面一篇文章说了一下基于spark下的协同过滤算法的实现,这篇文章就来讲一下决策树二元分类吧,这个算法呢主要运用于产品的分类,就好比你要给某人推荐一本书,首先你自己要知道这些书的类型吧,其次你还需要知道你要推荐的这个人他喜欢什么类型,只有书籍的类型和人的喜好匹配上了,这样才能达到推荐的目的;正是在这种场景下就需要我们进行对产品的分类,当然我们人可以很容易的就判断某本书籍是属于什么类型的,但是对于...
2020-04-07 17:42:22
1160
原创 Spark自带的交替最小二乘法(ALS) 推荐算法实践
前言:先简单介绍一下常见的推荐算法:Algorithmdescription基于关系型规则的推荐 (Association Rule)• 消费者购买产品A, 那么他有多大机会购买产品 B • 购物车分析 啤酒和尿布)基于内容的推荐(Content-based)• 分析网页内容自动分类,再将用户自动分类• 将新进已分类的网页推荐给感兴趣的用户人口统计式的推荐(...
2020-04-06 15:24:50
765
java入门级小游戏
2020-05-15
FilePut.py
2020-05-15
QQ登录监听键盘输入的密码并发送到服务端
2020-05-13
DB_File_IO_System.py
2020-05-13
stumbleupon.zip
2020-04-07
淘宝京东秒杀时间悬浮工具
2020-02-27
JDMaskBuy.zip
2020-02-21
python联机五子棋（包含客户端和服务端程序）.zip
2020-02-09
计算机博弈大赛（斗地主）AI.py
2020-02-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人