python爬虫(持续更新)

Python

在Linux系统中安装python3

MongoDB

将MongoDB设置为windows的服务命令

在MongoDB的安装包bin目录下,执行以下命令:

mongod --bind_ip 0.0.0.0 --logpath 日志文件路径(.log文件)--logappend --dbpath 存储数据路径(文件夹)--port 27017 --serviceName "MongoDB" --serviceDisplayName "MongoDB" --install

执行之后需要进入Windows的计算机管理界面——》服务,手动开启MongoDB服务。

实例如下:

 

在Linux系统中安装MongoDB,直接使用命令安装,安装命令可以直接在各大信息网站查找。

Redis

在Windows安装Redis之后,如果想要有个可视化界面可以下载Redis desktop mananger应用(推荐0.8.8版本),初始化连接本机:

在Linux系统安装Redis之后,重要的文件需要修改(路径:/etc/redis/redis.conf),修改内容如下:

若没有注释,只能够在本地连接redis;若将其注释掉,则可以进行远程连接;

 作用是设置redis的连接密码,可以注释,也可以修改后面的foobared.

若redis有连接密码,则需要使用命令:redis-cli -a 密码 进入redis命令窗口

Mysql

在Windows中安装mysql,可以不需要安装mysql workbench。若想要mysql可视化界面,可以下载安装MYSQL-Front

在Linux系统安装mysql后,可以修改路径(/etc/mysql/mysql.cnf)文件,注释掉如下:,之后并可以进行远程连接。

Python多版本共存

python多版本共存配置: 在Windows下的各个版本python的目录下,复制python.exe,并修改新的python.exe的名称来区分python的版本问题。至于原来的指定python直接对应的版本,需要在设置环境变量时,将自己需要的版本放在最前面,直接调用。

在Linux系统下,ln 功能是为某一个文件在另外一个位置建立一个同不的链接,这个命令最常用的参数是-s,具体用法是:ln -s 源文件 目标文件

     使用第一条命令生成一个软件链接

将默认存在的python删除,并使用上述命令链接到指定的python版本。

Selenium

pip install selenium

#查看webdriver是否安装
chromedriver

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("http://www.baidu.com")
#展示页面的源代码
driver.page_source

pyquery(相当于beautifulsoup的功能)

解析网页

from pyquery import PyQuery as pq
doc = pq("<html>Hello World,How are you!</html>")
result = doc('html').text()
result

pymysql

import pymysql
conn=pymysql.connect(host="localhost",user="root",password="****",port=3306,db="---")
corsor=conn.corsor()
corsor.execute('select * from db')
corsor.fetchome()

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值