答⁠案⁠⁠⁠-CSDN博客

原创 Linux服务器部署python3环境

Linux服务器部署python环境

2022-08-17 11:11:25 190 1

1.下载安装包1.1 下载首先进入redis官网，找到稳定版，右键获取下载链接进入到服务器中，最好进入/usr/local目录下，方便管理，使用命令：wget https://download.redis.io/releases/redis-6.2.6.tar.gz1.2 解压安装使用tar 命令解压到当前目录：tar -vxf redis-6.2.6.tar.gz删除压缩包，并移动到/usr/local/redis目录下然后进行make 解压make完成之后会显示这种然后

2021-10-29 11:02:34 462

原创 Linux配置node.js环境

Linux配置node.js环境1.下载nodejs包去官网找到对应版本的node压缩包，复制链接地址2.进入服务器下载并配置使用wget +链接地址如果你的系统太干净了，可能会出现这是因为你还没有下载wget下载器（大部分都有，可忽略）接下来就是将下载好的node.js包解压归类，利用命令tar -vxf node-v14.18.1-linux-x64.tar.xz解压好之后mv node-v14.18.1-linux-x64 node重命名一下方便后面使用3.配置全局变量配置全

2021-10-21 14:26:45 901

原创 linux服务器 python3环境安装Pybloom_live失败

1.在安装pybloom的时候总会提示最终的错误在这一步：error: command ‘gcc’ failed with exit status 1查了好久的资料终于找到原因了：缺少openssl-devel支持解决方案：python3环境运行下列代码：yum install gcc libffi-devel python3-devel openssl-devel -ypython2 :yum install gcc libffi-devel python-devel openssl-devel

2021-08-26 16:37:20 192

原创如何在Linux服务器上部署pyhton爬虫环境

大部分做爬虫的时候不会在自己本地机器上运行的，因为：①本地内存和cpu以及网速占用较高，会影响爬虫效率，也会影响正常工作。②假如本地机器意外死机，卡死或者断电等情况，程序就会中断，会对爬虫产生影响。③Linux环境对于爬虫或者开发来说某方面更加适合。这次做一个详细的笔记，也方便自己之后复习步骤1.选择环境首先我选择的是Anaconda环境，Anaconda 环境相当于python的一个发行版，里面有很多第三方库可以直接使用，所以用起来很方便。2.导入Anaconda包推荐两种比较常见的方式①：本

2021-07-30 17:48:42 945

原创 python中strptime()和strftime()的区别和用法

python中strptime()和strftime()的区别和用法之前每次遇到时间格式转换都要去搜，今天决定自己记录一下这两个方法的区别和用法，也方便自己加深印象1.strptime中的p代表parse,意为解析，也就是将一个字符串解析成时间格式，什么是时间格式，下图为例import datetimestrdate = '2020年6月23日 12:12:08'parsedate = datetime.datetime.strptime(strdate,'%Y年%m月%d日 %H:%M:%S')

2021-05-12 15:06:52 1577 1

原创 python中post请求方式的网页如何获取信息

今天写一个爬虫代码的时候，目标网页的数据请求方式为post,现在记录一下今天的收货。1.首先我遇到的问题我的思路是：response=requests.post(url,headers=head,data=datas,proxies =‘某个代理ip’)按照这个思路，我给各个参数赋值之后，发现我print(response)返回状态码是200,说明我们是可以访问的，但是我print(response.text)返回值为none,这说明我们虽然访问成功了，但是并没有得到任何网页数据，这时候我的第一反应是代

2021-02-02 21:01:45 901

原创使用代理IP实现爬虫

1.使用代理ip爬虫我们在进行爬虫任务的时候经常会遇到网站设置的反爬关卡，比如限制单个ip一秒或者几秒内访问服务器几次，超过这个次数就把这个ip拉进"黑名单",我们一般自己的网络只有一个ip,ip封了就没办法继续访问这个网站了，那我们怎么办呢，我们可以使用别人的ip去访问啊，这样就算封了，我们再换一个就好了。2。获取代理IP池这里我是从一个资源网站找的https://www.kuaidaili.com/free/inha/{}/首先我们请求该网站，并解析页面。proxy = [] #

2021-02-01 22:49:52 1962

原创 python链接mongodb并添加数据

使用python连接Mongodb并且向数据库中添加数据。现在每天写一篇自己学到的东西已经成了一种习惯，仅供自己温习和各位大佬指出不对的地方或者有更简洁的方法，欢迎指正！！！之前一直用的MySQL，最近用到mongodb，一个新的数据库，mongo数据库有几个特点，首先mongo数据库并不是一个关系型数据库,直接存取BSON(BOSN全称Binary JSON，二进制JSON)，所以我们存储数据更加灵活，就不用提前设定数据类型。接下来我们怎么通过python向mongo数据库存储数据呢？首先我们需要

2021-01-28 20:20:49 772 2

原创 python中_init_函数和class类之初理解

本人python小白，在学习的过程把一些心得或者说笔记记录下来，方便后期温习和各位大佬指点！！最近一直被python中类，对象，实例化。。。一系列专业名词给整迷糊了。网上看了几篇文章，接下来是个人对这些文章的理解，不对的地方欢迎指正类（class）:什么是类，我理解类的就是具有相同属性和方法的类的集合。意思就是说把类看做一个集合。这个集合内有属性和方法，这些属性和方法是某个对象所共有的。举个栗子:class Person:#Person为类名，命名采用驼峰命名法，还有一个问题就是类的继承，比如之前有

2021-01-27 18:45:26 632 4

原创 xpath常用语句

XPAT常用语句常用定位语句新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入常用定位语句() 代表匹配所有元素节点(@)匹配所有属性节点(node())匹配任何类型的节点 /表示从根节点选取逐步定位到想找

2021-01-25 18:20:42 453 1

原创 MySQL常用语句

MySQL常用语句修改root密码：1.MySQL5.7版本方法1：用set psssword 修改例如：set password for ‘root’@‘localhost’=password(‘123456’);方法2：用update更改update mysql.user set password=password(‘123456’) where user =‘root’ and host =‘localhost’;方法3：用mysqladmin修改mysqladmin -uroot

2021-01-17 14:38:21 2518 4

qq_43184626的博客