python
民谣书生
只为成功找方法,不为失败找借口!
展开
-
链接****智能图表
https://www.zhihu.com/question/27306416/answer/372241948?utm_source=qq&utm_medium=social&utm_oi=54002653855744 https://www.zhihu.com/question/30643044/answer/48955833 https://blog.csdn...原创 2018-10-11 13:11:14 · 153 阅读 · 0 评论 -
Chromedriver如何配置环境变量
原创 2018-10-03 21:49:30 · 5687 阅读 · 0 评论 -
爬虫双冒号
Python中双冒号的作用[::]Python sequence slice addresses can be written as a[start:end:step] and any of start, stop or end can be dropped.python序列切片地址可以写为[开始:结束:步长],其中的开始和结束可以省略 range(n)生成[0,n)区间整数 ...原创 2018-10-06 18:56:20 · 201 阅读 · 0 评论 -
python中的yield关键字的用法详情
阅读别人的python源码时碰到了这个yield这个关键字,各种搜索终于搞懂了,在此做一下总结:通常的for…in…循环中,in后面是一个数组,这个数组就是一个可迭代对象,类似的还有链表,字符串,文件。它可以是mylist = [1, 2, 3],也可以是mylist = [x*x for x in range(3)]。 它的缺陷是所有数据都在内存中,如果有海量数据的话将会非常耗内存。 生...原创 2018-10-06 20:28:47 · 186 阅读 · 0 评论 -
python爬取猫眼电影
首先来了解一下python中yield函数迭代的功效https://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/然后这一期我们来玩一下python爬去猫眼电影, 当然,注意的地方是这里的headers一定要带上,看着被人不带上也能玩,可是我不行,觉得这是一个坑,还是带上吧。总之,要想...原创 2018-10-14 14:40:04 · 1801 阅读 · 0 评论 -
小说python,这是简版
# -*- coding: utf-8 -*-from bs4 import BeautifulSoupimport requestsimport codecsdef get_url_list(url): html = requests.get(url) soup = BeautifulSoup(html.content, 'lxml')#content如果换成text会...原创 2018-10-14 19:46:42 · 284 阅读 · 0 评论 -
python文件路径保存
本文采用os.walk()和os.listdir()两种方法,获取指定文件夹下的文件名。一、os.walk()模块os中的walk()函数可以遍历文件夹下所有的文件。os.walk(top, topdown=Ture, onerror=None, followlinks=False)该函数可以得到一个三元tupple(dirpath, dirnames, filenames)....原创 2018-10-08 13:51:08 · 8440 阅读 · 0 评论 -
python爬取图虫的图片
屡试不爽的采集器也有不靠谱的时候,我想抓取一些图虫上面的图片来玩一下发现网页没有图片的url,我们再去看看每一页的形式:好像和方才看到的东西是一样的,所以网页的分析已经很显然了。这个东西需要对应个人的电脑去修改:然后就能爬去对应的图片了,我们等待一下,看一下结果打完收工。 参考链接:https://blog.csdn.net/u013...原创 2018-10-08 14:17:10 · 951 阅读 · 1 评论 -
安装mongoDB时遇见的情况
在直接安装了两次MongoDB的时候出现了卡死的情况,相信很多人都碰见过。解决方案是在最后安装的时候取消那个进程process,因为这个可视化需要很长时间,所以不管你等多久,还是把电脑怎么优化都不行。取消即可。安装完成之后,在cmd中输入以上数据库的位置,出现下面的情况说明已经安装完成。 这种就已经验证了MongoDB安装完成,但是这种命令行不是很方便,采用以下方案来解决。...原创 2018-10-08 19:38:17 · 218 阅读 · 0 评论 -
selenium实验中遇见的chromedriver安装问题
直接使用pip安装pip install seleniumfrom selenium import webdriverbrowser = webdriver.Chrome()browser.get('http://www.baidu.com/')运行这段代码,会自动打开浏览器,然后访问百度。如果程序执行错误,浏览器没有打开,那么应该是没有装 Chrome 浏览器或者 Chrom...原创 2018-10-09 16:40:26 · 183 阅读 · 0 评论 -
python爬去ajax类型---今日头条
一开始是根据别人的教程学习,但是发现被人的代码好多都有坑 为什么会有坑呢,主要在以下几个地方 爬取得过程和结果,以今天的新闻赵丽颖为关键词吧: import requestsfrom urllib.parse import urlencodefrom requests.exceptions import RequestExceptioni...原创 2018-10-16 11:34:17 · 283 阅读 · 0 评论 -
selenium出现的chromdriver问题
相信很多人存在以下错误,我也是,特此记录一下:打开chrome浏览器,彻底禁止弹出以下提示框,方法如下: 最简单的解决办法:亲测有用!适用于windows系统!1、首先找到chrome程序目录,桌面找到chrome快捷方式——>右键属性——>目标,即可找到你安装的chrome目录,找到chrome.dll文件的所在目录,类似于:2、下载需要的两个文件,...原创 2018-10-09 19:08:41 · 413 阅读 · 0 评论 -
Unsupported command-line flag: --ignore-certificate-errors
在git上找到一个from selenium import webdriveroptions = webdriver.ChromeOptions()options.add_experimental_option("excludeSwitches", ["ignore-certificate-errors"])browser = webdriver.Chrome(chrome_op...原创 2018-10-10 10:04:20 · 622 阅读 · 0 评论 -
selenium中最烦人的版本问题
自动化过程中遇见的版本问题。 下载地址:https://www.chromedownloads.net/chrome64win/谷歌浏览器下载地址:http://www.chromedownloads.net/django API学习 地址https://github.com/LABELNET/django-mysite-fristdjango API学习...原创 2018-10-10 11:09:22 · 305 阅读 · 0 评论 -
google浏览器更新问题和路径问题
禁用自动更新计划任务按下Win+R,打开运行对话框,输入taskschd.msc,打开"任务计划程序",展开左侧功能树到"任务计划程序库",分两次选择右侧两个GoogleUpdate的任务计划,右键菜单选择"禁用"。 参考链接:https://jingyan.baidu.com/article/76a7e409f2137afc3b6e15be.html ...原创 2018-10-10 16:43:05 · 775 阅读 · 0 评论 -
Scrapy安装问题---解决方法
在安装scrapy的时候一直出现错误,显示各种问题,例如c++14.后来用conda命名搞定了。https://blog.csdn.net/baidu_24545901/article/details/78848480创建scrapy项目:scrapy startproject ScarpyTest 第二种方式参考链接:https://www...原创 2018-10-22 11:13:32 · 175 阅读 · 0 评论 -
pyspider安装的问题
今天用pyspider框架出现的问题,直接用conda来安装和在cmd中安装都不行,不知道为什么?然后就去网上查来相关的文档https://www.cnblogs.com/yefengpython/p/6000509.html,但是后来发现其实在pycharm中的setting中直接安装好了,不知道是不是瞎猫碰见了死耗子。 现在是能用了,我的步骤也是从文档中加入了三个包,lxml和wh...原创 2018-10-22 14:34:34 · 297 阅读 · 0 评论 -
pandas库的一些注意点
DataFrame数据筛选——loc,iloc,ix,at,iathttps://blog.csdn.net/liuweiyuxiang/article/details/78241530?utm_source=blogxgwz1原创 2018-10-28 13:35:14 · 222 阅读 · 0 评论 -
Python数据分析与机器学习-用户流失预警churm
流失预警模型https://blog.csdn.net/weixin_42108215/article/details/80727816所有小案例 https://github.com/yhathttps://blog.csdn.net/weixin_42108215/article/details/80727816 https://blog.csdn.net/adam_w...原创 2018-10-28 17:17:03 · 1589 阅读 · 0 评论 -
amada函数
https://blog.csdn.net/xiaoyi_zhang/article/details/51765648 lamada函数原创 2018-10-21 15:48:08 · 198 阅读 · 0 评论 -
用户流失预警的完整版-python-机器学习
整理个各个版本,但是时间的问题,或多或少会出现一些版本问题,所以认真的来写了关于用户流失预警的一个案例。我们拿到的数据表示这种形式,如果需要数据包,请给出对应的邮箱。首先附上对应的解释结果 在本案例中要注意的事项是:我们的数据处理采用的是归一化,不是标准化;其次选择了多个分类器的对比结果,在这里会发现,只是单纯的给出精确度的话,随机森林,knn和回归的精确度都很高,所以还需...原创 2018-10-29 13:44:11 · 8191 阅读 · 22 评论 -
缺失值可视化处理--missingno
缺失值可视化处理--missingno说来也是奇怪,这个缺失值检测包我一直装不上,在pycharm和conda中都不行,也不能使用,今天开了这个文档中,就在prompt中检测尝试了一下,哎哟,不错哦,可以了,哈哈。两个都能安装了。既然可以了,下面就来看看使用的情况吧:从上面的图中可以看出,缺失值还不少呢,字段birthday是最完成的,其他字段都有缺失。 从这张...原创 2018-10-29 19:33:02 · 1922 阅读 · 2 评论 -
机器学习(四)—逻辑回归LR
https://blog.csdn.net/a786150017/article/details/83211044 http://www.cnblogs.com/eilearn/p/8990034.html https://www.cnblogs.com/ModifyRong/p/7739955.html 机器学习(四)—逻辑回归LR...原创 2018-10-31 16:48:13 · 157 阅读 · 0 评论 -
支持向量机(SVM)的详细推导过程及注解
http://blog.sina.com.cn/s/blog_4298002e010144k8.html支持向量机的原理很简单,就是VC维理论和最小化结构风险。在阅读相关论文的时候,发现很多文章都语焉不详,就连《A Tutorial on Support Vector Machines for Pattern Recognition》这篇文章对拉格朗日条件极值问题的对偶变换都只是一笔带过,让很...原创 2018-10-31 16:49:52 · 288 阅读 · 0 评论 -
支持向量机他人博客连接
https://blog.csdn.net/a786150017?viewmode=contentshttps://blog.csdn.net/a786150017/article/details/83211044https://blog.csdn.net/a786150017/article/details/83211044 最优化要看看原创 2018-10-31 17:05:13 · 155 阅读 · 0 评论 -
python中绘制地图的工具folium
pip install folium https://www.sogou.com/link?url=hedJjaC291OcvLjrkQ53TzPxqebD3XAPXVtkcCbyvm38K7nf4lDHv4EP8Px5Io238jWj56TSdg-N36yqJfj_XsQnW-ILeBrkIo5R6naetjH5o-84E_D0MSG7sWyQRmUwo72M7rjPs8Xmi...原创 2018-10-30 16:37:42 · 2888 阅读 · 1 评论 -
【啊哈!算法】算法1:最快最简单的排序——桶排序
https://blog.csdn.net/u013076044/article/details/38874371原创 2018-11-01 20:55:08 · 242 阅读 · 0 评论 -
基于用户的协同过滤和基于物品的协同过滤推荐算法图解
在协同过滤中,有两种主流方法:基于用户的协同过滤,和基于物品的协同过滤。具体怎么来阐述他们的原理呢,看个图大家就明白了基于用户的 CF 的基本思想相当简单,基于用户对物品的偏好找到相邻邻居用户,然后将邻居用户喜欢的推荐给当前用户。计算上,就是将一个用户对所有物品的偏好作为一个向量来计算用户之间的相似度,找到 K 邻居后,根据邻居的相似度权重以及他们对物品的偏好,预测当前用户没有偏好的未涉...原创 2018-11-06 18:32:11 · 4441 阅读 · 0 评论 -
卷积神经网络概念与原理
最近看了这方面的博客,也遇见了这方面的题目。深度学习笔记(一):logistic分类 深度学习笔记(二):简单神经网络,后向传播算法及实现 深度学习笔记(三):激活函数和损失函数 深度学习笔记:优化方法总结 深度学习笔记(四):循环神经网络的概念,结构和代码注释 深度学习笔记(五):LSTM 深度学习笔记(六):Encoder-Decoder模型和Attention模型...转载 2018-11-02 15:08:59 · 765 阅读 · 0 评论 -
深度学习优化算法:动量、RMSProp、Adam
https://mp.weixin.qq.com/s/t_ubFq5WVCyD2t35MYX2Lghttps://mp.weixin.qq.com/s?__biz=MzI3ODkxODU3Mg==&mid=2247487472&idx=2&sn=2c4ffdfe5430105a7a43b4762847492f&chksm=eb4eeb33dc396225b4d1...原创 2018-11-02 15:23:26 · 461 阅读 · 1 评论 -
L1正则和L2正则的比较分析详解
https://blog.csdn.net/w5688414/article/details/78046960 https://blog.csdn.net/jinping_shi/article/details/52433975机器学习中的范数规则化之(一)L0、L1与L2范数 https://blog.csdn.net/haidixipan/article/detail...原创 2018-11-10 16:37:03 · 206 阅读 · 0 评论 -
python中日期和时间格式化
本文实例总结了python中日期和时间格式化输出的方法。分享给大家供大家参考。具体分析如下:python格式化日期时间的函数为datetime.datetime.strftime();由字符串转为日期型的函数为:datetime.datetime.strptime(),两个函数都涉及日期时间的格式化字符串,这里提供详细的代码详细演示了每一个参数的使用方法及范例。下面是格式化日期和时间时可用...原创 2018-11-08 14:24:49 · 286 阅读 · 0 评论 -
Python数据分析_Pandas数据框
https://www.jianshu.com/u/22307cee1166原创 2018-11-08 15:30:40 · 195 阅读 · 0 评论 -
此数据计算得到门店、款号、颜色、尺码、每周的期末库存-python版
1.获取的数据2.我们发现日期这一行是字符串形式,需要进行转化data_lz['date_io'] = pd.to_datetime(data_lz['date_io'])3.我们要查看数据中每周的库存量,所以要把日期换算成周,但是我们发现数据是跨年的,所以我们需要先把年份分来4.我们对原有数据进行切分data_lz_2017 = data_lz[(data_l...原创 2018-11-08 17:10:05 · 769 阅读 · 0 评论 -
Python大数据处理库PySpark实战
https://cloud.tencent.com/developer/article/1096712Spark的安装和使用(Python版)http://dblab.xmu.edu.cn/blog/1689-2/https://blog.csdn.net/qq_14959801/article/details/79586786Spark大数据分析...原创 2018-11-15 15:16:01 · 1394 阅读 · 2 评论 -
Mysql分数排名(连续值)
1.构建一张表 Create table If Not Exists Scores (Id int,Score DECIMAL(3,2)); Truncate table Scores; insert into Scores (Id, Score) values ('1','3.5'); insert into Scores (Id, Score) values ('2','3....原创 2018-11-20 12:49:47 · 437 阅读 · 0 评论 -
利用Pandas读取文件路径或文件名称包含中文的csv文件方法
当你的文件夹或者文件中的字段出现中文的时候,这时候read就会出现问题。import pandas as pdf=open('C:\\Users\\Desktop\\实验\\哈哈.csv')df=pd.read_csv(f)原创 2019-01-24 10:03:53 · 843 阅读 · 0 评论 -
Python工作问题
首先将conda install pymysql 或者 conda install python_mysql 安装:#引入pymysql模块。注意小写import pymysql#打开数据库连接。localhost为主机地址,root是mysql登陆名,123是登陆密码,pythondb是数据库名conn = pymysql.connect("localhost","root","12...原创 2019-02-21 10:48:13 · 186 阅读 · 0 评论 -
pyppeteer实现登录出现的问题
最近登录某宝和某乎,发现之前写的代码又熄火了,官方给的反扒机制越来越牛叉了,发现之前使用的selenium无法完成登陆的滑动验证,一点作用都没有,菜鸟一枚,查了相关的资料,就开始使用pyppeteer来弄某数据平台的内容。使用pyppeteer滑动验证参考网上很多文章,以下代码也来源于网络,只对部分细节进行了修改,并且记录了pyppeteer使用过程中遇到的一些问题。#!/u...原创 2019-03-21 10:20:57 · 4466 阅读 · 4 评论 -
用Python将多个excel表格合并为一个表格
#下面这些变量需要您根据自己的具体情况选择biaotou=['学号','学生姓名','第一志愿','第二志愿','第三志愿','第四志愿','第五志愿','联系电话','性别','备注']#在哪里搜索多个表格#C:\\Users\\lihwa11\\Desktop\\Python\\filenamefilelocation="C:\\Users\\lihwa11\\Desktop\\Py...原创 2019-03-21 12:00:51 · 5504 阅读 · 6 评论