YUE.YUN-CSDN博客

原创爬虫如何解决cookie过时的问题

在爬虫的过程中，会面临cookie失效的问题，当然不能每次手动去复制粘贴，所以就需要自动解决cookie可能还会遇到反重的手段，进行了js加密，该如何处理https://www.bilibili.com/video/BV1y4411w7DX?p=13中13节，实现66ip网站的爬取。...

2020-12-23 18:45:37 2380 1

因为mysql默认的是utf-8格式，cmd默认的是gbk格式，所以就会出现中文乱码；由于msql服务器的格式没有权限改动，所以只能改变cmd的格式网上方法很多，但是我发现方法陈旧，对于目前的win10没有，下面方法大家可以试试，亲试有用：win+R —— regedit粘贴下面路径：计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Command Processor在右侧新建一个字符串格式重启即可...

2021-07-08 19:48:48 512

转载 Mysql数据库的安装--三分钟搞定

下载免装版解压，用管理员身份运行 cmd# 进入解压后的bin文件夹cd D:\QMDownload\SoftMgr\mysql\mysql-8.0.23-winx64\mysql-8.0.23-winx64\bin# 如果cd后无反应，回车后再输入D:安装初始化该行的最后一行是密码修改初始密码# 123456是修改后的密码alter user 'root'@'localhost' identified by '123456'将bin文件的目录添加到系统的全局变量在bin的

2021-02-22 19:02:10 279

原创 graphviz中文乱码问题解决

在网上找了一堆方法，由于我是用anaconda安装的graphviz，在安装目录下找不到对应的文件夹，所以不知道如何修改源码。。。。找到一种用程序修改的办法：graph = graphviz.Source(dot_data.replace('helvetica','"Microsoft YaHei"'), encoding='utf-8')这样保存的决策树就不会出现中文乱码的情况了这里替换成为了微软雅黑，可以替换成其它字体参考文章：https://blog.csdn.net/qq_402126

2021-01-20 17:15:41 811 1

原创 pandas如何指定某一列为索引

大部分情况可以如下：# 以年这一列作为索引df1 = pd.DataFrame(df).set_index('年')但是，有时候数据没有表头，即发生了缺失：# 指定第一列为索引df1 = pd.read_excel(df,index_col=0)

2021-01-07 10:35:20 14328

转载 pandas如何删除行或列

本文是转载文章，仅作为记录，防止优秀文章的丢失https://blog.csdn.net/qq_18351157/article/details/105785367请大家前往原创作者博客，多多支持文章目录删除行删除列删除多行多列# age state point# name# Alice 24 NY 64# Bob 42 CA 92# Charlie 18 CA 70# Dave 68 T

2021-01-07 10:29:53 1970

原创 pandas如何提取某个单元格的值

方法：print(df_t.iloc[[0],[0]])print('***************')print(df_t.iloc[[0],[0]].values)print('***************')print(df_t.iloc[[0],[0]].values[0][0])结果：排名年 2012***************[[2012]]***************2012

2021-01-07 09:54:53 2209

转载 python 中vlookup的实现方法

本贴主要是作为一个记录，防止优质博客的丢失请大家多多关注原帖：https://blog.csdn.net/htuhxf/article/details/84571404https://stackoverflow.com/questions/25493625/vlookup-in-pandas-using-join主要方法是使用merge或者map或者apply+lambda文章目录mergeapply + lambdamerge的详细介绍merge执行左合并，这将使用sku列作为要联接的列：I

2021-01-06 10:35:00 1006

转载 python实现多表合并的操作

本文转载自：https://blog.csdn.net/weixin_38131197/article/details/101481993本贴仅是记录，防止原创作者删帖，请大家前往原创作者博客多多支持原创。通过python实现Sql中的表连接操作一、merg实现表连接数据准备： import pandas as pdi

2021-01-04 14:18:07 4304

原创 python爬虫的一些高级应用小技巧

该博文会持续更新session()session.headers.update()#注意，小括号中是字典的形式urlencode()、urldecode()、quote()urlencode函数，可以把key-value这样的键值对转换成我们想要的格式，返回的是a=1&b=2这样的字符串，比如：import urllib.parsevalues={}values[‘username’]=‘01张三’values[‘password’]=‘df123?’url=“http://ww

2020-12-25 15:45:11 231

原创 python中self、int、__name的理解

在学习python的过程中，对于self 和__int__的理解有点晕，看程序的时候，有时有，有时又不用，所以今天就仔细的解决一下这个问题。关于self，记住：python中self不是关键字，你可以换成任何其他的，但是这是该行业的习惯写法定义类（class）的时候必须要用，一般的函数或者方法是不必用self的self在定义的时候必须用，调用类的时候不需要用，默认自动传入self指的是实例对象本身，而不是类本身关于 int，记住：__init__方法的第一参数永远是self，表示创建的类

2020-12-25 10:17:57 1784 1

原创正则表达式的学习

最近在学习爬虫的时候，需要用到正则表达式对数据进行一个提取。看了网上不少的博客和视频，发现这东西讲解的都不是很通俗易懂，有点绕，尤其是理解元字符部分，文字版本也不是很懂（可能是个人太愚钝）个人的看法是，不懂的时候多动手，边练边看更容易懂学习的网址就是：元字符讲解的博客：https://www.cnblogs.com/maplethefox/p/11056072.html菜鸟教程https://www.runoob.com/python3/python3-reg-expressions.html

2020-12-23 18:38:36 99

原创 smtplib添加excel附件，收到附件发现是bin格式的文件

在网上找了一些办法，基本上都是格式或者写法上的导致的并且错误的主要行是集中这段命令的第四行，part = MIMEBase('application','octet-stream')part.set_payload(open("abc.xls","rb").read())encoders.encode_base64(part)part.add_header('Content-Disposition','attachment', filename ='abc.xls')message.attach

2020-12-23 10:20:59 564 1

原创抠取头发丝（用PS cc）

文章目录抠头发丝：简单粗暴，效率高扣除头发丝：粗中有细学着学着就来劲了，干脆把问题都解决掉证件照上面肯定是用不上，但是平常生活中如果需要（女生），或者是时候展现男朋友才华的时候到了。下面只介绍操作过程，想要P的更好，必须慢工出细活，且举一反三所有图片，均来自网络抠头发丝：简单粗暴，效率高方法是：先分别导入，然后，点击左侧菜单栏有个【移动工具】，鼠标左击不松，将小姐姐托拖入风景图中，然后Ctrl+T调整图片大小调整好以后，点击右上角的勾即可选用背景橡皮檫勾选【保护前景色】和点击【

2020-12-22 14:31:13 508 1

原创给寸照换底色（抠头发）

突然需要用到蓝底照片（奈何只有白底），到打印店去打印，老板说要10块钱调整，奈何我这科研攻坚过程中的养成的犟脾气，回到宿舍自己拿PS弄（软件电脑有，一直闲置，终于能用上了），网上找了一圈，发现没有一个完整的教程，要么软件版本不对导致的命令位置不同（分cc版和cs版本），要不就是改完白边严重，不知道怎么修改。东拼西凑，自己琢磨，以下是PS CC版做的。魔法棒工具调整容差Ctrl+j 复制图层会发现背景颜色变成了格子红色RGB：255 0 0蓝色RGB：67 142

2020-12-21 23:14:27 722 2

原创 UserWarning: mkl-service package failed to import, therefore Intel(R) MKL initialization ensuring it

在pycharm中如恶化解决这个问题：UserWarning: mkl-service package failed to import, therefore Intel® MKL initialization ensuring its correct out-of-the box operation under condition when Gnu OpenMP had already been loaded by Python process is not assured. Please instal

2020-12-21 16:39:03 7119

原创一直 connecting to console

处于一直加载状态：可以参考这两篇博客，感谢博主提供的解决办法，大家有问题可以先看看对应博客下的留言https://blog.csdn.net/qq_41153943/article/details/100188221https://blog.csdn.net/weixin_44612441/article/details/105354195基本思路就是：打开cmd通过输入%PATH%查到环境变量的路径然后再复制到系统环境变量中，或者复制到setting中或者系统的环境变量中去。亲测，复制到

2020-12-21 16:03:51 1583

原创 conda安装库存在的问题

这是错误：xmlrpc.client.Fault: <Fault -32500: “RuntimeError: PyPI’s XMLRPC API has been temporarily disabled due to unmanageable load and will be deprecated in the near future. See https://status.python.org/ for more information.”>在此之前，我已经添加了永久的添加了清华的数据

2020-12-21 15:30:12 2010 4

原创如何解决联想电脑F1-F12快捷键带来的烦劳

最近入手了联想的小新电脑，然而，当我习以为常的用其他软件的一些快捷键时，发现联想系统已经占用了，如：按F1就是声音，即使是其它按键与F1组合的快捷方式也是声音：解决办法如下：Fn + F1 即可解决，这样或许对习惯快捷键的朋友还是会觉得很麻烦，所以也可以直接暴力：进入BIOS的方法就不多说了，进入之后把HotKey Mode改成disable就好了。或者下载驱动至于办法可以去网上找找，很多...

2020-12-21 15:26:17 1497 1

原创带你入门VASP的干货网站

从零到入门，在没有大佬指导的情况下，走这条路是多么的痛苦，没有经历过，就无法理解到里面的辛酸，对于一个小白，跨领域+跨学科，或许这是对我就是一次心灵上的磨练吧。历经一年多的学习，从网上一点一点的获取，真的太不容易了，为了避免更多的人走我同样的路，我将我在学习过程中收获很多的国内网站分享出来。祝明天的你会更好。一个做声子计算的网站：https://phonopy.github.io/phonopy/论坛，干货帖子特别多：http://bbs.keinsci.com/forum.php获取分子结构：

2020-12-17 11:23:59 3598 2

原创 pycharm中断点的使用

设置好断点后，按如下方法进行运行：step over：IDE就会让当前的程序执行完当前行的代码。如果该代码里面有函数调用，执行不会暂停在函数里面，而是直接运行完所有的函数里面的代码，暂停在下一行代码。step into：IDE就会让当前的程序执行一步当前行代码。如果该代码里面有函数调用，执行就会暂停在函数里面。resume program：直接运行到断点处，但不运行断点行（即颜色标记行）...

2020-12-15 15:00:13 989

原创爬虫项目①

代理池的一个应用流程：爬虫模块：采集代理IP·从代理IP网站上采集代理IP·进行校验（获取代理响应速度，协议类型，匿名类型），·把可用代理IP存储到数据库中代理IP的校验模块：获取指定代理的响应速度，支持的协议以及匿名程度·原因：网站上所标注的响应速度，协议类型和匿名类型是不准确的·这里使用httpbin.org进行检测数据库模块：实现对代理IP的增删改查操作·这里使用MongoDB来存储代理IP检测模块：定时的对代理池中代理进行检测，保证代理池中代理的可用性.·从数据库读取所有的代

2020-12-15 14:12:06 267

原创反爬虫的项目总体构架图

反爬取的项目流程角度一：角度二：其中，角度一和角度二说的是同一件事情

2020-12-15 11:15:08 385

原创 sublime如何解决不能交互的问题

如果是pycharm用户，可能不会太习惯，因为用起来没那么方便思路是装插件：sublimeREPLCtrl + Shift +P 输入install ，选中下图第一个等待一小会在弹出的框中输入：sublimeREPL等待安装结束安装结束后，既可以按下面的流程找到了：上图所示的：是当你已经写好程序了，你点击，即可运行当前的文本内容也可通过更改热键来运行这个功能{ "keys": ["f5"], "caption": "SublimeREPL: Python - RUN cur

2020-12-10 15:37:33 945

原创 PPT母版中更改了页码后，但是应用了该母版的幻灯片没有发生变化

之前在每张幻灯片中做了当前页数/总页数的幻灯片编号由于总页数发生了变化，于是想修改母版，但是母版修改完以后，幻灯片的总页数还是没有变化。解决办法：【插入】——【页眉页脚】先将幻灯片编号的构去掉，点击全部应用。然后再勾上，点击全部应用即可。...

2020-12-09 22:15:34 4410 3

原创字符串格式之间的转换

int(x [,base ]) 将x转换为一个整数long(x [,base ]) 将x转换为一个长整数float(x ) 将x转换到一个浮点数complex(real [,imag ]) 创建一个复数str(x ) 将对象 x 转换为字符串repr(x ) 将对象 x 转换为表达式字符串eval(str ) 用来计算在字符串中的有效Python表达

2020-12-08 18:02:14 896

转载 selenium如何解决页面跳转的问题

该文转自：白月黑羽教python，大家可以多关注from selenium import webdriverwd = webdriver.Chrome()wd.implicitly_wait(10)wd.get('http://cdn1.python3.vip/files/selenium/sample3.html')# 点击打开新窗口的链接link = wd.find_element_by_tag_name("a")link.click()# wd.title属性是当前窗口的标题栏

2020-12-08 10:42:24 12149 1

转载 selenium中的子元素和后代元素的理解

本文转载自：白月黑羽教python系列，大家可以关注id 为 container 的div元素包含了 id 为 layer1 和 layer2 的两个div元素。这种包含是直接包含，中间没有其他的层次的元素了。所以 id 为 layer1 和 layer2 的两个div元素是 id 为 container 的div元素的直接子元素而 id 为 layer1 的div元素又包含了 id 为 inner11 和 inner12 的两个div元素。中间没有其他层次的元素，所以这种包含关系也

2020-12-08 09:17:08 1987

原创安装selenium及其配置

在cmd中打开anaconda安装pip install selenium然后可以试运行，如果出错，因该是没有安装或配chromedriverfrom selenium import webdriverbrowser = webdriver.Chrome()browser.get(‘http://www.baidu.com/’)chromedriver的版本一定要与Chrome的版本一致，不然就不起作用。有两个下载地址：1、http://chromedriver.storage.goog

2020-12-07 15:31:02 82

原创 Anaconda can not spawn a new process with your current configured python interpreter (C:/Anaconda3/p

Anaconda can not spawn a new process with your current configured python interpreter (C:/Anaconda3/python.exe)Make sure your interpreter is a valid binary and is in your PATH or use an absolute path to it, for example: C:\\Python27\\python.exePackage Co

2020-12-07 14:18:37 924 1

表面催化计算.pdf

空空如也