python爬虫学习记录——各种软件/库的安装

最新推荐文章于 2023-09-05 09:14:40 发布
最新推荐文章于 2023-09-05 09:14:40 发布
阅读量154 收藏
点赞数
分类专栏： 爬虫 文章标签： python 爬虫

Ubuntu18.04安装python3-pip

1、apt-get update更新源

2，ubuntu18.04默认安装了python3,但是pip没有安装，安装命令：apt install python3-pip(apt install python-pip安装的是python2b版本的pip)

安装mongodb：

apt-get install mongodb.

执行mongod命令之后创建了一个/data/db。

mongo进入mongodb的命令行操作。

这篇关于mongodb的安装不错！贴在下面：https://huur.cn/course/yw/1712.html，内容如下：

MongoDB是一个免费的开源NoSQL文档数据库，在现代Web应用程序中经常使用。

在本教程中，您将安装MongoDB，管理其服务，并可选择启用远程访问。

先决条件

要学习本教程，您需要：

  • 遵循此初始服务器设置教程设置的一台Ubuntu 18.04服务器，包括sudo非root用户和防火墙。

第1步 – 安装MongoDB

Ubuntu的官方软件包存储库包含最新版本的MongoDB，这意味着我们可以使用安装必要的软件包apt。

首先，更新软件包列表以获取最新版本的存储库列表：

sudo apt update

现在安装MongoDB包本身：

sudo apt install -y mongodb

该命令安装了几个包含最新稳定版本的MongoDB的软件包，以及MongoDB服务器的有用管理工具。数据库服务器在安装后自动启动。

接下来，让我们验证服务器是否正在运行并正常工作。

 

第2步 – 检查服务和数据库

安装过程自动启动MongoDB，但让我们验证服务已启动并且数据库正在运行。

首先，检查服务的状态：

sudo systemctl status mongodb

你会看到这个输出：

Output
● mongodb.service - An object/document-oriented database
   Loaded: loaded (/lib/systemd/system/mongodb.service; enabled; vendor preset: enabled)
   Active: active (running) since Sat 2018-05-26 07:48:04 UTC; 2min 17s ago
     Docs: man:mongod(1)
 Main PID: 2312 (mongod)
    Tasks: 23 (limit: 1153)
   CGroup: /system.slice/mongodb.service
           └─2312 /usr/bin/mongod --unixSocketPrefix=/run/mongodb --config /etc/mongodb.conf

据说systemd，MongoDB服务器已经启动并正在运行。

我们可以通过实际连接到数据库服务器并执行诊断命令来进一步验证

执行此命令：

mongo --eval 'db.runCommand({ connectionStatus: 1 })'

这将输出当前的数据库版本，服务器地址和端口以及状态命令的输出：

Output
MongoDB shell version v3.6.3
connecting to: mongodb://127.0.0.1:27017
MongoDB server version: 3.6.3
{
        "authInfo" : {
                "authenticatedUsers" : [ ],
                "authenticatedUserRoles" : [ ]
        },
        "ok" : 1
}

的价值1为ok响应中的字段表示服务器是否正常工作。

接下来，我们将看看如何管理服务器实例。

 

第3步 – 管理MongoDB服务

MongoDB作为systemd服务安装，这意味着您可以使用标准systemd命令以及Ubuntu中所有其他系统服务来管理它。

要验证服务的状态，请键入：

sudo systemctl status mongodb

您可以随时键入以下命令停止服务器：

sudo systemctl stop mongodb

要在停止时启动服务器，请键入：

sudo systemctl start mongodb

您也可以使用单个命令重新启动服务器：

sudo systemctl restart mongodb

默认情况下，MongoDB被配置为自动启动服务器。如果您希望禁用自动启动，请键入：

sudo systemctl disable mongodb

再次启用它同样简单。为此，请使用：

sudo systemctl enable mongodb

接下来，让我们调整我们的MongoDB安装的防火墙设置。

 

第4步 – 调整防火墙（可选）

假设您已经遵循了最初的服务器设置教程说明来启用服务器上的防火墙，MongoDB服务器将无法从Internet访问。

如果您打算只在本地使用运行在同一台服务器上的应用程序的MongoDB服务器，则这是建议和安全的设置。但是，如果您希望能够通过Internet连接到MongoDB服务器，则必须允许传入连接ufw。

要允许27017从任何地方访问MongoDB的默认端口，可以使用。但是，通过默认安装启用对MongoDB服务器的互联网访问，任何人都可以不受限制地访问数据库服务器及其数据。sudo ufw allow 27017

在大多数情况下，MongoDB只能从特定的可信位置访问，例如托管应用程序的另一台服务器。要完成此任务，您可以允许访问MongoDB的默认端口，同时指定另一个明确允许连接的服务器的IP地址：

sudo ufw allow from your_other_server_ip/32 to any port 27017

您可以通过以下方式验证防火墙设置的更改ufw：

sudo ufw status

您应该27017在输出中看到允许的端口流量：

产量

Status: active

To                         Action      From
--                         ------      ----
OpenSSH                    ALLOW       Anywhere
27017                      ALLOW       Anywhere
OpenSSH (v6)               ALLOW       Anywhere (v6)
27017 (v6)                 ALLOW       Anywhere (v6)

如果您决定只允许某个IP地址连接到MongoDB服务器，则允许位置的IP地址将在输出中列出而不是Anywhere。

您可以找到更多高级防火墙设置来限制UFW Essentials中的服务访问：通用防火墙规则和命令。

即使端口是开放的，MongoDB目前只能监听本地地址127.0.0.1。要允许远程连接，请将服务器的可公开路由的IP地址添加到mongod.conf文件中。

在您的编辑器中打开MongoDB配置文件：

sudo nano /etc/mongodb.conf

将您的服务器的IP地址添加到bindIP值：

 

...
logappend=true

bind_ip = 127.0.0.1,your_server_ip
#port = 27017

...

务必在现有IP地址和添加的地址之间放置逗号。

保存文件，退出编辑器，然后重新启动MongoDB：

sudo systemctl restart mongodb

MongoDB现在正在监听远程连接，但任何人都可以访问它。

 

安装redis:

apt-get install redis-server

redis-cli进入redis的命令行模式

vi /etc/redis/redis.conf

修改bind 127.0.0.1 ::1可以改变访问限制，如果不修改只能本地访问，注释之后可以远程访问了！

修改requirepass之后的内容可以改变连接密码！

如果访问权限受限，可以执行命令redis -变量（a)  密码（requirepass之后的密码）

关于redis的文章：http://www.cnblogs.com/super-zhangkun/p/9457312.html

内容如下：

Ubuntu18.04，安装Redis和简单使用Redis

 

前言

Redis是常用基于内存的Key-Value数据库，比Memcache更先进，支持多种数据结构，高效，快速。用Redis可以很轻松解决高并发的数据访问问题；作为实时监控信号处理也非常不错。

环境

Ubuntu 18.04

安装Redis服务器端

~ sudo apt-get install redis-server

安装完成后，Redis服务器会自动启动，我们检查Redis服务器程序

检查Redis服务器系统进程

~ ps -agx|grep redis

1 10382 10382 10382 ? -1 Ssl 124 0:07 /usr/bin/redis-server 127.0.0.1:6379
2677 10618 10617 2677 pts/0 10617 S+ 1000 0:00 grep --color=auto redis

通过启动命令检查Redis服务器状态

~ netstat -nlt|grep 6379

tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 
tcp6 0 0 ::1:6379 :::* LISTEN

通过启动命令检查Redis服务器状态

复制代码

复制代码

~$ sudo /etc/init.d/redis-server status

● redis-server.service - Advanced key-value store
Loaded: loaded (/lib/systemd/system/redis-server.service; enabled; vendor preset: enabled)
Active: active (running) since Fri 2018-08-10 19:50:13 CST; 36min ago
Docs: http://redis.io/documentation,
man:redis-server(1)
Main PID: 10382 (redis-server)
Tasks: 4 (limit: 2294)
CGroup: /system.slice/redis-server.service
└─10382 /usr/bin/redis-server 127.0.0.1:6379

8月 10 19:50:12 zhangkun-virtual-machine systemd[1]: Starting Advanced key-v…..
8月 10 19:50:13 zhangkun-virtual-machine systemd[1]: redis-server.service: C…ry
8月 10 19:50:13 zhangkun-virtual-machine systemd[1]: Started Advanced key-va…e.
Hint: Some lines were ellipsized, use -l to show in full.

复制代码

复制代码

通过命令行客户端访问Redis

安装Redis服务器，会自动地一起安装Redis命令行客户端程序。

在本机输入redis-cli命令就可以启动，客户端程序访问Redis服务器。

复制代码

复制代码

~ redis-cli

127.0.0.1:6379> help
redis-cli 4.0.9
To get help about Redis commands type:
"help @<group>" to get a list of commands in <group>
"help <command>" for help on <command>
"help <tab>" to get a list of possible help topics
"quit" to exit

To set redis-cli preferences:
":set hints" enable online hints
":set nohints" disable online hints
Set your preferences in ~/.redisclirc


127.0.0.1:6379> set key1 "hello"
OK
127.0.0.1:6379> get key1
"hello"

复制代码

复制代码

基本的Redis客户端命令操作

增加一条记录key1

复制代码

复制代码

redis 127.0.0.1:6379> set key1 "hello"
OK

# 打印记录
redis 127.0.0.1:6379> get key1
"hello"

复制代码

复制代码

增加一条数字记录

复制代码

复制代码

 

set key2 1
OK

# 让数字自增
redis 127.0.0.1:6379> INCR key2
(integer) 2
redis 127.0.0.1:6379> INCR key2
(integer) 3

# 打印记录
redis 127.0.0.1:6379> get key2
"3"

 

复制代码

复制代码

增加一个列表记录key3

复制代码

复制代码

 

redis 127.0.0.1:6379> LPUSH key3 a
(integer) 1

# 从左边插入列表
redis 127.0.0.1:6379> LPUSH key3 b
(integer) 2

# 从右边插入列表
redis 127.0.0.1:6379> RPUSH key3 c
(integer) 3

# 打印列表记录，按从左到右的顺序
redis 127.0.0.1:6379> LRANGE key3 0 3
1) "b"
2) "a"
3) "c"

复制代码

复制代码

复制代码

增加一个哈希记表录key4

复制代码

复制代码

复制代码

redis 127.0.0.1:6379> HSET key4 name "John Smith"
(integer) 1

# 在哈希表中插入，email的Key和Value的值
redis 127.0.0.1:6379> HSET key4 email "abc@gmail.com"
(integer) 1

# 打印哈希表中，name为key的值
redis 127.0.0.1:6379> HGET key4 name
"John Smith"

# 打印整个哈希表
redis 127.0.0.1:6379> HGETALL key4
1) "name"
2) "John Smith"
3) "email"
4) "abc@gmail.com"

复制代码

复制代码

复制代码

增加一条哈希表记录key5

复制代码

复制代码

复制代码

# 增加一条哈希表记录key5，一次插入多个Key和value的值
redis 127.0.0.1:6379> HMSET key5 username antirez password P1pp0 age 3
OK

# 打印哈希表中，username和age为key的值
redis 127.0.0.1:6379> HMGET key5 username age
1) "antirez"
2) "3"

# 打印完整的哈希表记录
redis 127.0.0.1:6379> HGETALL key5
1) "username"
2) "antirez"
3) "password"
4) "P1pp0"
5) "age"
6) "3"

复制代码

复制代码

复制代码

删除记录

复制代码

复制代码

复制代码

# 查看所有的key列表
redis 127.0.0.1:6379> keys *
1) "key2"
2) "key3"
3) "key4"
4) "key5"
5) "key1"

# 删除key1,key5
redis 127.0.0.1:6379> del key1
(integer) 1
redis 127.0.0.1:6379> del key5
(integer) 1

# 查看所有的key列表
redis 127.0.0.1:6379> keys *
1) "key2"
2) "key3"
3) "key4"

复制代码

复制代码

复制代码

修改Redis的配置

使用Redis的访问账号

默认情况下，访问Redis服务器是不需要密码的，为了增加安全性我们需要设置Redis服务器的访问密码。设置访问密码为redisredis。

用vi打开Redis服务器的配置文件redis.conf

~ sudo vi /etc/redis/redis.conf

#取消注释requirepass
requirepass redisredis

让Redis服务器被远程访问

默认情况下，Redis服务器不允许远程访问，只允许本机访问，所以我们需要设置打开远程访问的功能。

用vi打开Redis服务器的配置文件redis.conf

~ sudo vi /etc/redis/redis.conf

#注释bind
#bind 127.0.0.1

修改后，重启Redis服务器。

~ sudo /etc/init.d/redis-server restart
Stopping redis-server: redis-server.
Starting redis-server: redis-server.

未使用密码登陆Redis服务器

~ redis-cli

redis 127.0.0.1:6379> keys *
(error) ERR operation not permitted

发现可以登陆，但无法执行命令了。

登陆Redis服务器，输入密码

复制代码

复制代码

~  redis-cli -a redisredis

redis 127.0.0.1:6379> keys *
1) "key2"
2) "key3"
3) "key4"

复制代码

复制代码

登陆后，一切正常。

我们检查Redis的网络监听端口

检查Redis服务器占用端口

~ netstat -nlt|grep 6379
tcp        0      0 0.0.0.0:6379            0.0.0.0:*               LISTEN

我们看到网络监听从之前的 127.0.0.1:3306 变成 0 0.0.0.0:3306，表示Redis已经允许远程登陆访问。

我们在远程的另一台Linux访问Redis服务器

复制代码

复制代码

~ redis-cli -a redisredis -h 192.168.1.199

redis 192.168.1.199:6379> keys *
1) "key2"
2) "key3"
3) "key4"

复制代码

复制代码

远程访问正常。通过上面的操作，我们就把Redis数据库服务器，在Linux Ubuntu中的系统安装完成。

 

mysql安装步骤：

sudo apt-get install mysql-server mysql-client

常用mysql服务命令：

登录mysql
mysql -u username -p

退出mysql 
quit

启动mysql
systemctl start mysqld.service

结束
systemctl stop mysqld.service

重启
systemctl restart mysqld.service

开机自启
systemctl enable mysqld.service

查看mysql版本
select version();

 

 

比较好的文章:

https://www.cnblogs.com/luoli-/p/9249769.html

内容如下：

Ubuntu18.04 安装mysql8.0.11

1.下载deb包

2.运行命令#（我用的是apt-get update)

1 sudo dpkg -i mysql-apt-config_0.8.10-1_all.deb
2 sudo apt update

3.安装mysql8(apt-get install mysql-server

1  sudo apt install mysql-server

4.输入root密码

5.密码加密方式选择5.x

 

6.查看mysql是否安装成功

1 mysql -u root -p

7.查看mysql字符集，mysql8字符集默认为utf-8。

1 show variables like '%char%';

 

安装各种库的命令：pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter

 

Y.Tao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于python爬虫学习项目源码.zip
09-23
基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习...
Ubuntu18.04，安装Redis配置远程连接访问和简单使用Redis
yundou520的博客
02-25 482
转载：https://www.cnblogs.com/yunlongaimeng/p/10260573.html Ubuntu18.04，安装Redis配置远程连接访问和简单使用Redis 前言 Redis是常用基于内存的Key-Value数据库，比Memcache更先进，支持多种数据结构，高效，快速。用Redis可以很轻松解决高并发的数据访问问题；作为实时监控信号处理也非常不错。 环境 Ubun...
linux下源码安装redis
zhuxiongxian的挨踢博客
06-22 871
redis官方下载网址： https://redis.io/download 安装目录： /usr/local/bin/ 配置文件路径： /etc/redis/redis.conf 配置端口： 6379 服务端： /usr/local/bin/redis-server 客户端： /usr/local/bin/redis-cli 持久化文件存放目录路径： /var/lib/redis ...
CentOS7安装redis
weixin_43298913的博客
06-29 169
一、安装Redis step1.安装gcc依赖 由于redis是用c语言开发，安装之前必须先确认是否安装了gcc环境。 [root@localhost bin]# gcc -v Using built-in specs. COLLECT_GCC=gcc COLLECT_LTO_WRAPPER=/usr/libexec/gcc/x86_64-redhat-linux/4.8.5/lto-wrapper Target: x86_64-redhat-linux Configured with: ../confi
错过这15个顶级Python库，你就不算Python程序员
weixin_42731853的博客
08-11 1970
为什么我喜欢Python？对于初学者来说，这是一种简单易学的编程语言，另一个原因：大量开箱即用的三方库，正是23万个由用户提供的软件包使得Python真正强大和流行。 在本文中，我挑选了15个最有用的软件包，介绍它们的功能和特点。 1. Dash Dash是比较新的软件包，它是用纯Python构建数据可视化app的理想选择，因此特别适合处理数据的任何人。Dash是Flask，Plotly.js和React.js的混合体。 2. Pygame Pygame是SDL多媒体库的Python装饰器，SDL(Sim
Python爬虫学习记录（1）——BeautifulSoup爬取天气信息
12-21
Python爬虫学习记录（1）——BeautifulSoup爬取天气信息 上节学习了flask简单使用并且爬取网站，本节学习BeautifulSoup爬取天气信息 打开网站：http://www.weather.com.cn/weather/101030100.shtml 可以看到天津...
Python爬虫学习步骤和代码示例
最新发布
04-27
文档首先介绍了学习Python爬虫的基本步骤，包括掌握Python基础、了解网络知识、学习爬虫库和框架等，为读者构建了一个完整的学习框架。接着，文档详细阐述了Python爬虫的应用场景，包括网络数据采集、新闻采集、数据...
python爬虫学习笔记（二）——解析内容
01-20
补充：在一些其他的教程中，发现也可以用urllib模块获取数据，urllib模块是python内置的一个http请求库，不需要额外的安装。只需要关注请求的链接，参数，提供了强大的解析。requests库则需格外安装，但是个人感觉...
整理了上千个热门的 Python 工具库，涵盖24个大方向！
Python单行客的博客
02-25 2386
整理了上千个热门的 Python 工具库，涵盖24个大方向！
「强烈收藏」Python第三方库资源大全，1000+工具包
xiqng17111342931的博客
11-26 2万+
「强烈收藏」Python第三方库资源大全，1000+工具包
Python安装超详细教程
Python栈
09-05 2万+
python 包括 python2、python3 两个大版本，其中 python3 改进了 python2 的一些不足，但由于以前很多应用是用 python2 开发的，维护这些应用还需用到 python2，故 python2 尚未被完全淘汰。此外，版本也不是越高越好，因为有的模块（库）不支持太高版本的 python。
【Python3网络爬虫开发实战】pyquery的安装
pythonhy的博客
08-21 393
pyquery同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。本节中，我们就来了解一下它的安装方式。
Python下载与安装教程（很详细）
热门推荐
分享Python知识
01-16 2万+
Python下载与安装教程（很详细）
【python教程入门学习】Python教程第1篇：下载和安装Python
zihong523的博客
02-16 2063
Python是当下流行的通用编程语言，简单易学、容易上手，且“钱”景广阔。 在网络爬虫、数据挖掘分析、人工智能、运营运维、日常工作效率提升，无不有Python的影子。 因此，今天跟大家分享Python的下载和安装教程。 第一步：下载Python最新版本 Python官网：http://www.python.org 进入官网之后，根据电脑系统选择合适的版本下载安装。截止到目前为止，python-3.10.2是Python最新版本（此版本Windows7系统及更早系统无法使用，Windows7系统的小伙伴可以选
最全的100个Python精选库，建议收藏！
SixStar_FL的博客
06-21 3436
Python为啥这么火，这么多人学，就是因为简单好学，功能强大，整个社区非常活跃，资料很多。而且这语言涉及了方方面面，比如自动化测试，运维，爬虫，数据分析，机器学习，金融领域，后端开发，云计算，游戏开发都有涉及。万丈高楼平地起，Python这座大厦能够如此强大，就是拥有强大的成千上万的库的支持，无数牛x的轮子在支持这座大厦，今天我们来一起梳理一下，俯瞰整个Python宝库。我大概列了一下整个Python库的应用的方法面面，粗略算算就有20几个方向。左右两边分两个方向，左边负责进攻(主外)，每一项单独拉出来都
这15个顶级Python库，你必须要试试
m0_56185331的博客
12-10 826
Python大量开箱即用的第三方库，正是23万个由用户提供的软件包使得Python真正强大和流行。
Python爬虫——scrapy安装和使用
z1171127310的博客
08-19 4471
Python爬虫——scrapy安装和使用
python爬虫学习需要下载的软件
05-26
Python 爬虫学习中需要下载的软件包括： 1. Python 解释器：Python 是一种高级编程语言，需要先安装 Python 解释器，你可以从官网上下载并安装。 2. IDE（集成开发环境）：IDE 是用于编写、运行和调试代码的软件。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值