自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

一名新生程序员的日常

记录自己的学习日记,不喜勿喷

  • 博客(42)
  • 资源 (3)
  • 收藏
  • 关注

原创 Python爬虫仅需一行代码----crawl第三方库
原力计划

仅需一行代码写爬虫–crawlcrawl仅需一行代码即可达到爬虫效果项目地址(欢迎star):https://github.com/Amiee-well/crawl使用方法pip install crawlfrom crawl import requestrequest.parse( url='https://www.douban.com/group/explore', type_url='text', #login='taobao', Parsing =

2020-05-08 22:40:13 19066 76

原创 再也不用担心PyQt5界面难看了-----QcureUi美化包

快速美化PyQt–QcureUiQcureUi快速美化PyQt应用项目地址(欢迎star):https://github.com/Amiee-well/cureUi使用方法pip install QcureUi调用QcureUi.cure.Windows()共有五个参数填写:1.第一个参数为QWidget面板类(必填)2.第二个参数为托盘名字(必填)3.第三个...

2020-04-16 19:09:35 20858 77

原创 利用 Tensorflow 从头搭建一个推荐系统

写在前面真实的场景中,可能我们有非常非常多的训练数据,我们不得不面对一些问题,也是大家比较关心的问题。海量的数据无法一次载入内存用于训练。数据是每天不断增加的,我们有没有一些增量训练的方式去不断持续迭代更新模型?什么场景下,我们是不把数据全部载入内存优化,而是一个batch一个batch输入进行update参数的?对,我们用tensorflow来完成一个在批量数据上更新,并且可以增量迭代优化的矩阵分解推荐系统。0.矩阵分解回顾LFM:把用户再item上打分的行为,看作是有内部依据的,认为

2020-11-23 16:16:52 2506 22

原创 推荐系统实战 --- 基于音乐播放推荐

写在前面推荐系统每个人都很熟悉这个名词,但是有多少人真正了解过推荐系统的概念。这期博客将以基于网易云音乐的推荐系统进行一个简单的介绍。(读到这里不要喷我,我不是网易公司的人但是每个人都有朋友的对吧)学习此课程需要有一定的 Python基础 和 机器学习基础推荐系统常用库为 Surprise 和 lightfm。我们这节课使用 Surprise 入门。准备数据阶段任何的机器学习算法解决问题,首先要考虑的是数据,数据从何而来?对于酷狗音乐/网易音乐这样的企业而言,用户的收藏和播放数据是

2020-11-19 19:36:09 5253 23

原创 Python爬虫破解登陆 --- 哔哩哔哩

写在前面作为一名找不到工作的爬虫菜鸡人士来说,登陆这一块肯定是个比较大的难题。从今天开始准备一点点对大型网站进行逐个登陆破解。加深自己爬虫水平。环境搭建Python 3.7.7环境,Mac电脑测试Python内置库第三方库:rsa、urllib、requestsPC端登陆全部代码:'''PC登录哔哩哔哩'''class Bilibili_For_PC(): def __init__(self, **kwargs): for key, value in kw

2020-11-16 18:58:53 5073 11

原创 机器学习入门 ------ 必会概念

机器学习基本概念机器学习根据已知数据来不断学习积累经验,然后总结出规律并尝试预测未知数据的属性,是一门综合性非常强的多领域交叉学科,涉及线性代数、概率论、逼近论、凸分析以及算法复杂度理论等学科。目前机器学习已经有了十分广泛的应用,例如数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、信用卡欺诈检测、证券市场分析、语音和手写识别、推荐系统和机器人运用等等。总体来说,机器学习算法和问题可以分为有监督学习和无监督学习两大类。在有监督学习算法中,所有数据带有额外的属性(例如每个样本所属类别

2020-10-24 22:06:49 455 1

原创 强化学习实战 --- 用DQN让Ai玩吃豆子游戏吧

前景介绍上期文章介绍TensorFlow入门基础篇,本意就是给介绍强化学习做一篇前置。本期我们将尝试利用深度强化学习来让神经网络学习自动地玩一款经典的吃豆人小游戏。让我们愉快地开始吧~吃豆人小游戏的介绍与pygame实现方式参见:Pygame吃豆人小游戏制作本文实现的版本与上文中实现的版本略有不同,算是上文中实现版本的改进版。开发工具Python版本3.7.7相关模块:pygame(1.9.6)pytorch(0.4.1)torchvision(0.2.2)opencv-pytho

2020-10-14 22:01:51 7959 25

原创 Tensorflow入门并不难,只是你没看到这篇文章

Tensorflow入门一条龙前景提要Tensorflow介绍Tensorflow安装梯度下降处理结构Tensorflow结构Tensor 介绍Tensorflow 编程Session会话控制Variable 定义变量Placeholder 输入值设置激励函数 (Activation Function)激励函数Activation Function添加神经层 -- 激励函数添加图层建立神经网络结果可视化加速神经网络训练Stochastic Gradient Descent (SGD)MomentumAdaG

2020-10-09 23:01:19 1540 4

原创 数据分析实战 -- 股票量化交易分析

前景提要大二实习结束过去五个多月了。当时入职数据分析还算是有点基础进入的公司。如今这么久不学数据分析了,似乎都有点生疏了。今天写个数据分析实战,为了弥补一下亏欠粉丝的承诺吧。主要目标使用Python爬取股票数据数据清洗并上传至HDFS使用PyHive对股票数据进行分析Python数据分析-量化交易股票量化交易分析使用Python爬取股票数据我们这次的目标地址是url:网易行情中心 沪深行情在这个网站里面找到行业面板,里面随便点开一个行业信息,我在这里点开通用设备制造。因为

2020-10-03 18:44:01 3505 17

原创 爬虫实战 -- QQ空间自动点赞

QQ空间自动点赞前景提要目标确定分析介绍全部代码最后还是希望你们能给我点一波小小的关注。奉上自己诚挚的爱心????前景提要因为我周围的小伙伴们天天跟我说的最多的一句话就是:空间第一条点赞。所以说我还不如直接做一个自动点赞的代码呢,免得天天催我点赞。目标确定分析介绍全部代码import timeimport jsonimport reimport demjsonimport urllibimport requestsfrom lxml import etreeclass

2020-10-01 21:22:32 7109 35

原创 爬虫实战 -- QQ音乐爬取全部歌曲

前景介绍最近小伙伴们听歌的兴趣大涨,网抑云综合症已经遍布各地。咱们再来抬高一波QQ音乐的热度吧。土豪充绿钻 和 刷永久绿钻的除外(me????)爬它!目标:歌手列表任务:将A到Z的歌手以及全部页数的歌存到本地和数据库观察网页url结构当我们进入网页时发现此时是一个无参数的html网页加载。寻找我们想要拿到的位置寻找变化,但我们点击A开头的网页跳转时,发现 url 改变了,index 参数应该是首字母,page 参数应该是页数变化。这样的话就减少一个找参数的时间啦。找到

2020-09-27 22:01:37 21589 101

原创 深度学习Hello World --- 手写体识别 实战

最近因为学校事情比较多,也开始准备研究出一些深度学习方面的教程,但总被一些大大小小的原因在往后拖进度,这期用Python写一篇从零到一的手写体识别算法实战课来教各位如何入门深度学习。准备数据集首先准备一个 mnist 数据集。这是下载地址四个数据集分别是训练图集、训练结果、测试图集、测试结果。下载后存到一个文件夹中备用。Tensorflow 数据流图框架首先先调用Python第三方库,将数据集全部调用进程序(在这里使用 Tensorflow2.3.0 以及 scipy==1.2.1)

2020-09-24 21:02:37 4822 59

原创 爬虫前文----简化搞懂cookie和session

Cookie和Session前言cookie 和 session 的由来CookieCookie 属性Cookie 创建Cookie 分类SessionSession 工作原理创建 Session保存 Session销毁 Session检查Session 是否失效总结 Cookie Session相同点:不同点:工作流程:前言最近总是有一些初学爬虫的小伙伴总是搞不懂 Session 和 Cookie 到底是做什么的,为什么爬虫访问网页的时候都用 Session 去访问,为什么 headers 携带 C

2020-08-26 16:00:01 6868 15

原创 爬虫入门 ---- CSDN查看文章全部评论

前景提要最近这段时间的CSDN评论增加很快很快,心思把每一个博客网站的评论都拿下来分析一下,看看自己哪里有不足的地方,看看粉丝们都给我评论了什么,根据粉丝的意愿去继续写博客才是个好的博主啊。网页分析首先启动检查,刷新自己的网页后查看XML中寻找存在评论的XML地址,发现能够找到一共含有的评论页数和当前页面的评论内容。该请求参数除 page 之外均为可固定参数, page 为网页访问页数。大致参数正确,开始写代码!完整代码import urllibimport requestsfro

2020-08-11 15:26:15 6121 41

原创 自制腾讯视频去除水印Chrome插件

前景提要前几期写了一篇关于谷歌插件制作的文章,但是因为没有正经的小实战,一直鸽了这么多期文章,这里写一篇比较受关注的腾讯视频的水印去除的文章,方便各位日后爬取腾讯视频的时候总带其水印爬虫。回顾制作插件简单介绍一下 manifest.json 配置文件里面所需要的参数。name 拓展的名字,必须是字符串类型version 字符串类型,是当前插件的版本号description 拓展的介绍信息permissions 是一个String数组,每一个权限都使用String来表示。某些关键权限在安装前

2020-08-10 09:32:39 10456 50

原创 网络安全初入茅庐 --- 简易 sqlmap 制作

前景提要学习网络安全有一段时间了,用惯了其他人编写的工具,决心自己写一个入门级别比较简单的小工具自己使用练习。运行演示进入一个 sqli-lab 的靶场当作测试网站。获取其 url 地址:https://96e2b87c-897e-3af7-bdc1-fdfea8bde004-1.anquanlong.com/Less-1/index.php?id=1运行程序代码解析首先检测网站是否存在 sql 注入,通过闭合单双引号以及布尔判断检测def can_inject(text_u

2020-08-09 17:23:33 8727 53

原创 爬虫实战--拉黑 QQ 空间屏蔽我的“大人物“

前景提要最近发现有人QQ空间对我展开了屏蔽,咱们也不知道怎么惹到人家了,一气之下写了一个小爬虫看看到底谁把我屏蔽了。写小本本记下来!!!代码在最尾部,需要请自取。准备工作python环境:python3.7.4第三方库环境:requestslxmlthreadpoolselenium利用selenium模拟登陆获取cookie并保存到本地def search_cookie(): # 先检测一下是否运行过 if not __import__('os').path.exis

2020-08-01 17:45:23 11989 78

原创 入门数据分析,numpy 最全攻略

本文的主要学习目标:熟练的掌握 numpy 数组相关的运算;熟练的使用 numpy 创建矩阵;理解矩阵转置和乘法;熟练的计算数据的相关系数、方差、协方差、标准差;理解并能够计算特征值与特征向量;理解可逆矩阵并能够计算矩阵的逆;熟练求解线性方程组;熟练计算向量和矩阵的范数;理解并计算奇异值分解;numpy 数组及运算扩展库 numpy 是 Python 支持科学计算的重要扩展库,是数据分析和科学计算领域如 scipy、pandas、sklearn 等众多扩展库中必备的扩展库之一,提供

2020-07-29 08:32:57 6527 65

原创 带大家写一波微信公众号的爬取
原力计划

开发工具python版本 : 3.6.4相关模块:pdfkit模块;requests模块;以及一些Python自带的模块。抓包工具: fiddler环境搭建python 环境安装Python并添加到环境变量,pip安装需要的相关模块即可。fiddler 环境去官网下载最新版本的安装包直接安装。fiddler官网原理简介首先,我们打开fiddler这个抓包软件,其界面如下:然后,我们设置一下过滤规则以过滤掉没用的数据包,因为我们只想抓取微信相关的数据包而已,而不想其

2020-07-18 13:43:24 9231 64

原创 Github的免费计算资源,来做个自动网易云签到吧
原力计划

导语新的一天,从手把手带大家一起来白嫖一波Github的计算资源开始。白嫖的主要原理是利用Github的Actions功能,该功能于2018年10月推出。关于它的详细介绍,可以参见:https://docs.github.com/en/actions废话不多说,让我们愉快地开始白嫖吧~开发工具Python版本:3.6.4Github账号一枚python第三方库requests模块;DecryptLogin模块;以及一些python自带的模块。白嫖教程先来简单介绍一下

2020-07-07 13:30:14 4588 52

原创 十大经典排序算法,你会用 Python 去编写么?
原力计划

前言由于最近开始深入学习 python 数据结构,简单的用python来实现一波十大经典排序算法。分别是:冒泡排序选择排序插入排序希尔排序归并排序快速排序堆排序计数排序桶排序基数排序冒泡排序基本原理比较类排序算法。算法描述如下(假设是升序排序):比较相邻的元素,如果第一个元素比第二个大,就交换它们;对每一对相邻元素做同样的工作,从开始第一对到结尾的最后一对,这样在最后的元素应该会是最大的数;针对所有的元素重复以上的步骤,除了最后已经选出的有序元素;持续对剩下的无序

2020-07-06 16:33:08 3717 89

原创 ICO 图标快速制作
原力计划

前言今天来为大家讲解下 ICO 图标的制作方法,ICO 是 Windows 的一种图标格式,一般呈现出图案的样式,但它并不单单是一张图案,它是一种存储多张图案、多尺寸、多色板的图标文件。一个 ICO 图标实际上是多张不同格式的图片集合体,并且还包含了一定的透明区域,下面我们来详解:我们用 IcoFX 提取 Edge 浏览器的图标,然后打开(如上图),在虚线框里面,有256×256,64×64,48×48…等尺寸大小,根据不同的显示模式,这个图标会自动显示不同的尺寸图案,这样可以达到完美的显示效果,不同

2020-07-06 00:25:21 3001 53

原创 Python爬虫工程师学习养成记
原力计划

大数据的时代,网络爬虫已经成为了获取数据的一个重要手段。但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了,它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容,它像一张大网一样把现在一些主流的技术栈都连接在了一起。正因为涵盖的方向多,因此学习的东西也非常零散和杂乱,很多初学者搞不清楚究竟要学习哪些知识,学习过程中遇到反爬也不知道用什么方法来解决,本篇我们来做一些归纳和总结。初学爬虫一些最基本的网站,往往不带任何反

2020-06-29 16:19:50 2026 52

原创 非华为电脑使用华为一碰传破解教程
原力计划

需要一部华为手机!多屏协同破解下载百度网盘中三个文件:https://pan.baidu.com/s/1WDwf4K2veWrv6kGBe9_B4Q提取码:env7首先下载百度网盘中的 PCManager_Setup_10.0.2.59 压缩包,该压缩包为华为电脑管家的安装包,解压后即可安装。安装后打开任务管理器中的服务界面。关闭以下两个华为电脑管家的服务:打开华为电脑管家的根文件夹,将下载好的 “无需伪装sn版DLL” 文件夹中的 Util.dll 丢入电脑管家的程序目录,选择替换..

2020-06-20 00:21:49 22600 73

原创 淘宝卖家价格分析
原力计划

淘宝卖家必备程序前一阵闲的冒泡开了个淘宝店,因为改价格等各种原因麻烦的不得了,这不就心思爬个虫懒得一页页翻了么!如果你没开过淘宝店或者非得自己亲眼看网页价格,那么这篇咱们就没啥缘分了,我们以后随缘再见~话不多说直接教程(以下教程没开店的人员可能看不懂):首先先进入我们的淘管家。登陆自己的账号,进入我们的店铺页面。我们会看到如下界面首先介绍一下这是我的店铺,我们能发现这里存在买价和卖价,并且还需要翻页才能查看到你所有的店铺信息。在这里我首先想拿到的就是衣服名字、买价、卖价以及这部分的差价。均提

2020-05-26 19:54:57 7123 62

原创 上节Pandas学会了吗?那我可教你进阶啦~
原力计划

Pandas世界来去自如:pandas的I/O老生常谈,从基础来看,我们仍然关心的是pandas对于外部数据是如何交互的。结构化数据输入输出read_csv 与 to_csv 是一对输入输出工具,read_csv 直接返回 pandas.DataFrame ,而 to_csv 只要执行命令即可写文件。read_table:功能类似read_fwf:操作fixed width file...

2020-05-25 13:41:20 5028 76

原创 能让人看懂的MapReduce教程

MapReduce(一)第一个MapReduce程序:WordCount所需的 pom 依赖:<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version>

2020-05-24 15:43:30 2953 74

原创 会Pandas么?不会我教你鸭~
原力计划

入门Pandaspandas是Python的一个用于数据分析的库:http://pandas.pydata.orgAPI速查:http://pandas.pydata.org/pandas-docs/stable/api.html统计、分组、排序、透视表自由转换,如果你已经很熟悉结构化数据库与Excel的功能,就会知道pandas有过之而无不及。上手玩Pandas普通的程序员看到一份数据...

2020-05-23 19:19:22 3973 52

原创 PyQt5实现仿QQ贴边隐藏功能
原力计划

此程序大致功能为:可变换颜色,贴边隐藏。变换颜色思路QPalette( [ˈpælət] 调色板)类相当于对话框或控件的调色板,它管理着控件或窗体的所有颜色信息,每个窗体或控件都包含一个QPalette对象,在显示时按照它的QPalette对象中对各部分各状态下的颜色的描述来进行绘制。实现代码def Painting(self): color = random.choice(["CCFFFF","CC6699","CC99FF","99CCFF"]) palett

2020-05-23 12:40:06 9270 70

原创 HDFS其实很简单,分分钟学会
原力计划

HDFS(一)HDFS的命令行操作1. HDFS操作命令(HDFS操作命令帮助信息:hdfs dfs)命令说明示例-mkdir在HDFS上创建目录在HDFS上创建目录/data: hdfs dfs -mkdir /data 在HDFS上级联创建目录/data/input: hdfs dfs -mkdir -p /data/input-ls列出hdfs文件系统根目录下的目录和文件查看HDFS根目录下的文件和目录: hdfs dfs -ls / 查看HDFS的/da

2020-05-12 21:47:54 16495 39

原创 数据清洗--cleancc

数据清洗–cleancccleancc快速清洗数据内容可以项目地址(欢迎star):https://github.com/Amiee-well/clean使用方法pip install cleanccimport cleancc共有五个函数调用:1.第一个函数为punct:[​ 去除标点并让所有字母小写​ :param pop_list:所要处理的的列...

2020-05-03 20:07:44 16839 34

原创 白嫖steam游戏,我是专业的

做自己喜欢的爬虫:steam白嫖闲的无聊做了一期steam白嫖的视频。有了它,以后就再也不会担心游戏没有白嫖到了。查看steam近期免费的网址:https://steamdb.info/upcoming/free/特地做出来个exe可执行文件给大家用,免得电脑没有python的人眼馋。因为该网站是国外steam网站,可能必须要搭VPN才能运行。(悄悄地留下一个自用的VPN哦~)(安卓...

2020-05-02 18:15:35 32767 66

原创 简单介绍一下pyinstaller打包以及安全性
原力计划

pyinstaller打包问题简单介绍一下pyinstaller常用的参数:可选参数示例说明-Fpyinstaller -F demo.py只在dist文件夹中生成一个程序demo.exe文件,适用于一个模块没有多依赖.py文件-Dpyinstaller -D demo.py默认选项,除了主程序demo.exe外,还会在在dist文件夹中生成很多依赖文件,推...

2020-05-02 14:12:55 17006 29

原创 Pygame做一期吃豆子游戏
原力计划

使用Pygame做游戏Pygame的历史Pygame是一个利用SDL库的写就的游戏库,SDL呢,全名Simple DirectMedia Layer,是一位叫做Sam Lantinga的大牛写的,据说他为了让Loki(致力于向Linux上移植Windows的游戏的一家大好人公司,可惜已经倒闭,唉好人不长命啊……)更有效的工作,创造了这个东东。SDL是用C写的,不过它也可以使用C++进行开发...

2020-04-30 13:53:21 18466 38

原创 想有属于自己的谷歌插件么?三分钟带你入门
原力计划

每个使用谷歌浏览器的人都会留一些称心如意的插件,那你们知道怎么做插件吗?话不多说,开始教程首先先大致看一下插件的目录:1.background.js:2.index.js:打开某一个网站时调用的js程序。3.manifest.json(主要文件):扩展程序所查看的配置文件。4.music.html:点击插件后弹出的窗口框。5.music.png:插件ico图标。以上文件,除...

2020-04-28 17:43:49 17531 42

原创 会发布属于自己的pypi库么?不会的话来瞧瞧吧~
原力计划

使用Python编程的都知道,Python的包安装非常的方便,一般都是可以pip来安装搞定:pip install <package name>pip的安装请前往:https://pip.pypa.io/en/stable/installing/最近因为个人需求原因(其实就是因为代码没高光),发布了一个自己的pypi Python包,这里我大致分享如何发布自己的Pypi包一般过...

2020-04-27 16:03:52 16684 38

原创 用字符串的方式看黑人抬棺,我的快乐就这么简单

单纯的我,总会有很多快乐首先先看看成品:不多说啥废话了,直接给代码吧:import cv2from moviepy.editor import *from PIL import Image,ImageFont,ImageDrawimport osfrom cv2 import VideoWriter, VideoWriter_fourcc, imread, resizedef g...

2020-04-25 13:40:57 22527 50

原创 想学Python爬虫么?很简单的鸭~最后一课
原力计划

python爬虫此文章大致需要观看十分钟Python作为现阶段最流行的语言,对于网络的爬取和海量数据的分析,python更胜一筹。Python 标准数据库接口为 Python DB-API,Python DB-API为开发人员提供了数据库应用编程接口。在这里我主要介绍一下python操作MySQL、执行SQL语句、获取结果集、遍历结果集、取得谋个字段、获取表字段名、将图片插入数据库、执行...

2020-04-08 12:37:44 16283 36

原创 想学Python爬虫么?很简单的鸭~第四课
原力计划

python爬虫此文章大致需要观看十分钟Python作为现阶段最流行的语言,对于网络的爬取和海量数据的分析,python更胜一筹。Comma Separated Values,简称 CSV ,它是一种以逗号分隔数值的文件类型。在数据库或电子表格中,它是最常见的导入导出格式,它以一种简单而明了的方式存储和共享数据, CSV 文件通常以纯文本的方式存储数据表,由于爬虫的数据量高效且巨大,今天...

2020-04-07 13:11:50 18920 39

原创 想学Python爬虫么?很简单的鸭~第三课
原力计划

python爬虫此文章大致需要观看八分钟Python作为现阶段最流行的语言,对于网络的爬取和海量数据的分析,python更胜一筹。今天介绍一下beautifulsoup库,BeautifulSoup是爬虫必学的技能。BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,主要的功能是如何解析和提取 HTML/XML 数据。安装beautiful...

2020-03-30 00:54:31 16261 30

cnnnum.zip

内置完整的神经集组合MNIST数据集,pyqt做界面识别数字。神经识别,由(数据量, 通道, 高, 长)的4维数组构成的输入数据

2020-05-02

RunCat.zip

用过MAC可能听说过一款名叫RunCat的应用,它可以让一些动物在菜单栏不停地动起来,运动频率会随着CPU的使用率增加而变快,此文件在windows下实现这个有趣的功能。

2020-04-28

QcureUi-pypi.zip

本教程将指导您如何打包一个简单的Python项目。它将从0开始向您展示如何添加必要的文件和结构来创建包,如何构建包以及如何将其上传到PyPI供他人使用。压缩包内含有详细的pypi发布教程。内部包含源文件以及教程文件。

2020-04-28

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除