python美团外卖爬虫【Linux,Python开发实习面试题

本文详细描述了如何从源代码编译安装Apacheweb服务器,包括配置选项和步骤,以及如何源码编译并配置MySQL数据库,涉及依赖包安装、目录规划、编译过程和系统启动设置。
摘要由CSDN通过智能技术生成

[root@ecs-c13b ~]# tar xf httpd-2.4.43.tar.gz

[root@ecs-c13b ~]# cd httpd-2.4.43

[root@ecs-c13b httpd-2.4.43]#

[root@ecs-c13b httpd-2.4.43]# ./configure --prefix=/usr/local/apache --enable-so --enable-rewrite --enable-ssl --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util --with-pcre=/usr/local/pcre --enable-modules=most --enable-mpms-shared=all --with-mpm=event

选项说明:

| 参数 | 说明 |

| — | — |

| –prefix=/usr/local/apache | 安装路径 |

| –enable-so | 支持动态加载模块 |

| –enable-rewrite | 支持网站地址重写 |

| –enable-ssl | 支持SSL加密 |

| –with-pcre=/usr/local/pcre | pcre路径 |

| –with-apr=/usr/local/apr | apr路径 |

| –with-apr-util=/usr/local/apr-util | apr-util路径 |

[root@ecs-c13b httpd-2.4.43]# make && make install

c. 配置文件及相应目录

配置文件路径: /usr/local/apache2/conf/httpd.conf

网站根目录: /usr/local/apache/htdocs/

d. 生成启动脚本并启动

root@ecs-c13b ~]# cp /usr/local/apache/bin/apachectl /etc/init.d/

[root@ecs-c13b ~]# chmod +x /etc/init.d/apachectl

[root@ecs-c13b ~]#

[root@ecs-c13b ~]# /etc/init.d/apachectl restart ## 启动方法一(简单快捷)

e. 设置使用systemctl的方式启动(启动方法二)

vim /usr/lib/systemd/system/apache.service

[Unit]

Description=apache

After=network.target

[Service]

Type=forking

ExecStart=/etc/init.d/apachectl start

ExecReload=/etc/init.d/apachectl restart

ExecStop=/etc/init.d/apachectl stop

PrivateTmp=true

[Install]

WantedBy=multi-user.target

systemctl start apache.service

3. 测试是否启动

[root@ecs-c13b ~]# lsof -i:80

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

httpd 1579 root 4u IPv6 58850 0t0 TCP *:http (LISTEN)

httpd 1580 daemon 4u IPv6 58850 0t0 TCP *:http (LISTEN)

httpd 1581 daemon 4u IPv6 58850 0t0 TCP *:http (LISTEN)

httpd 1582 daemon 4u IPv6 58850 0t0 TCP *:http (LISTEN)

[root@ecs-c13b ~]#

4. 浏览器端测试

在这里插入图片描述

二. 源码编译mysql
1. 下载mysql包

[root@ecs-c13b ~]# wget http://www.mysql.com/Downloads/MySQL-5.7/mysql-5.7.19.tar.gz

2. 下载boost库

MySQL从5.7版本之后,boost是必须的,建议把系统自带的boost库卸载,源码编译安装高版本

[root@ecs-c13b ~]# ls boost_1_59_0.tar.gz

boost_1_59_0.tar.gz

3. 安装依赖包

[root@ecs-c13b ~]# yum install -y cmake make gcc gcc-c++ bison ncurses ncurses-devel

4. 添加mysql用户和用户组

[root@ecs-c13b ~]# groupadd mysql

[root@ecs-c13b ~]# useradd -M -s /sbin/nologin -r -g mysql mysql

5. 解压及规划安装目录

[root@ecs-c13b ~]# tar xf boost_1_59_0.tar.gz -C /usr/local/src/

[root@ecs-c13b ~]# tar xf mysql-5.7.19.tar.gz -C /usr/local/src/

规划安装目录:

安装目录: /var/lib/mysql

数据目录: /var/lib/mysql/data

创建规划目录并给权限:

[root@ecs-c13b ~]# mkdir -p /var/lib/mysql/data

[root@ecs-c13b ~]# chown -R mysql:mysql /var/lib/mysql/

[root@ecs-c13b ~]#

6. 开始编译mysql

进入相应目录

[root@ecs-c13b ~]# cd /usr/local/src/

[root@ecs-c13b src]# pwd

/usr/local/src

[root@ecs-c13b src]# cd mysql-5.7.19/

[root@ecs-c13b mysql-5.7.19]#

cmake:

cmake -DCMAKE_INSTALL_PREFIX=/var/lib/mysql \

-DMYSQL_DATADIR=/var/lib/mysql/data \

-DSYSCONFDIR=/etc \

-DWITH_MYISAM_STORAGE_ENGINE=1 \

-DWITH_INNOBASE_STORAGE_ENGINE=1 \

-DWITH_MEMORY_STORAGE_ENGINE=1 \

-DWITH_READLINE=1 \

-DMYSQL_UNIX_ADDR=/var/lib/mysql/mysql.sock \

-DMYSQL_TCP_PORT=3306 \

-DENABLED_LOCAL_INFILE=1 \

-DWITH_PARTITION_STORAGE_ENGINE=1 \

-DEXTRA_CHARSETS=all \

-DDEFAULT_CHARSET=utf8 \

-DDEFAULT_COLLATION=utf8_general_ci \

-DDOWNLOAD_BOOST=1 \

-DWITH_BOOST=/usr/local/src/boost_1_59_0

参数从哪里找:

http://www.mysql.com→→Documentation→→选择对应的版本(5.7)Installation & Upgrades→→Installing MySQL from Source →→MySQL Source-Configuration Options

直接点击url: https://dev.mysql.com/doc/refman/5.7/en/source-configuration-options.html

[root@ecs-c13b mysql-5.7.19]# make -j 4

编译时间很长,无聊的抽根烟等等吧

在这里插入图片描述

[root@ecs-c13b mysql-5.7.19]# make install

7. 编辑mysql配置文件
a . 默认是没有的,需要手动输入

[root@ecs-c13b ~]# cat /etc/my.cnf

[mysqld]

basedir=/var/lib/mysql

datadir=/var/lib/mysql/data

port=3306

socket=/var/lib/mysql/mysql.sock

character-set-server=utf8

log-error=/var/log/mysqld.log

pid-file=/tmp/mysqld.pid

[mysql]

socket=/var/lib/mysql/mysql.sock

[client]

socket=/var/lib/mysql/mysql.sock

[root@ecs-c13b ~]#

b. 添加path路径,让系统能够读到mysql命令

[root@ecs-c13b ~]# cat !$

cat /etc/profile.d/mysql.sh

export PATH=/var/lib/mysql/bin:$PATH

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img



既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加V获取:vip1024c (备注Python)
img

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

五、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的HTML内容。这通常通过HTTP请求库实现,如Python中的Requests库。 解析内容: 爬虫对获取的HTML进行解析,提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据,如文本、图片、链接等。 数据存储: 爬虫将提取的数据存储到数据库、文件或其他存储介质中,以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-Agent。 反爬虫应对: 由于爬虫的存在,一些网站采取了反爬虫措施,如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用,包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值