z135733的博客

无论是机器学习、深度学习或者爬虫开发，都需要python语言作为工具，因此，本文来带领从零搭建python环境，避免新手死于配环境的窘境！！！

本项目旨在通过爬取大量的评论数据，分析游客对潍坊和淄博的情感态度，从而为有意向去这两个城市旅游的人提供有价值的参考。通过对评论的情感分析，我们可以解游客对潍坊和淄博的整体评价以及他们在评论中表达的情感倾向。同时，我们还可以获取对这两个城市的客观评价、满意度水平和不满意之处的细节解。这些信息可以帮助旅游从业者、景点管理者和相关决策者更好地了解游客对潍坊和淄博旅游体验的感受，进一步改善景点的服务质量和提升游客的满意度。

Scrapy 是一个用于爬取网站数据和执行抓取任务的Python框架。它提供了一系列的组件，用于构建和管理爬虫项目。Spider（爬虫）Spider 是 Scrapy 的最基本组件，用于定义如何抓取特定网站的数据。每一个 Spider 都包含了一些用于抓取站点的初始URL和如何跟进页面中的链接的规则。Spider 通过解析页面的内容来抓取所需的数据。Item（数据项）Item 用于定义要从网页中提取的结构化数据。你可以根据需要创建多个 Item，每个 Item 包含了一组字段，用于保存特定的数据。

Scrapy是一个用于快速、高效地抓取和提取数据的Python开发框架。它基于异步网络库Twisted，并提供了强大的自定义功能，使得开发者能够灵活地编写网络爬虫和数据抓取程序。基于异步的架构：Scrapy使用了异步的方式处理网络请求和响应，能够高效地处理大量的并发任务。强大的爬取能力：Scrapy支持多线程和分布式爬取，可以同时处理多个请求，加快数据采集速度。灵活的数据提取：Scrapy提供了XPath和CSS选择器等多种方法来方便地提取网页中的数据，使得数据抽取变得简单高效。自动的请求管理。

文章详细讲解了利用requests库实现文件上传、cookies处理、状态码处理、异常处理等功能，既有理论又有代码和配图，快来看看吧！

requests 是一个用于发送 HTTP 请求的流行 Python 库。它提供了简洁而直观的 API，使得与 Web 服务进行交互变得非常方便。requests 库可以完成多种 HTTP 请求操作，如发送 GET、POST、PUT、DELETE 等请求，设置请求头、处理响应以及会话管理等功能。简洁易用：requests 的 API 设计非常简单易懂，上手容易，使用它可以轻松地发送 HTTP 请求、处理响应等操作。支持多种请求方式。

Selenium是一种用于自动化浏览器操作的工具。它可以模拟用户在浏览器中的各种操作，例如点击、填写表单、提交等，以及获取页面上的数据。相比传统的基于HTTP请求的爬虫，Selenium更适合处理需要JavaScript执行的动态网页。Selenium通常与Web驱动程序配合使用，例如ChromeDriver或GeckoDriver，用于控制真实的浏览器实例。通过Selenium，开发者可以编写脚本来模拟用户和浏览器之间的交互，从而爬取并处理网页上的内容。

使用urllib、json、jsonpath、csv库，爬取电影信息，并将信息下载到文件中。使用urllib定制请求对象并模拟浏览器发送请求，使用jsonpath解析得到的json数据，此处需要使用字符串分割进一步优化json数据格式，最终将响应的信息下载到本地。

JSONPath是一种用于从JSON数据中提取或查询数据的表达式语言。它最初由史蒂芬·摩根（Stephen Morgan）在2007年创建，并在2014年成为了IETF（互联网工程任务组）的标准。JSONPath 是一种查询语言用于在 JSON 数据中进行查找和过滤。它是由 Stefan Goessner 在2007年提出的，其灵感来自于 XPath，XPath 是一种用于 XML 文档的查询语言。JSONPath 具有简洁的语法和强大的查询功能，让开发人员能够轻松地从 JSON 数据中提取需要的信息。

本文爬虫程https://img-blog.csdnimg.cn/e72265ef9c1d4b2198fb117f5956ff3a.jpeg序用到了urllib库和XPath库，都是上两次文章讲过的，链接已经放在上面了，没有看过的先看一下前置知识哦~下面我们马上开始！

XPath（XML Path Language）是一种用于在HTML和XML文档中定位和选择节点的语言。它提供了一种简洁而强大的方式来对HTML和XML文档进行遍历和操作。路径表达式：XPath使用路径表达式从根节点开始，沿着节点之间的层级关系依次定位目标节点。常见的路径表达式有以下几种形式：表达式意义表示从根节点开始选择。//表示在整个文档中选择节点。。(点)表示当前节点。。。(两个点)表示当前节点的父节点。nodeName表示选择指定名称的节点。谓语。

urllib是Python标准库中的一个模块，用于处理URL相关的操作。它提供了一系列函数和类，方便开发人员在Python程序中进行URL请求、数据获取、参数编码等操作。urllib库包含四个子模块：urllib.request、urllib.parse、urllib.error和urllib.。通过urllib库，开发人员可以实现从网络上获取数据、发送HTTP请求、处理URL等功能。它是进行Web开发和网络爬虫编程时常用的工具之一，为Python程序提供了方便和灵活性。

万维网（World Wide Web，WWW)是一个分布式、联机式的信息存储空间，在这个空间中：一样有用的事物称为一样“资源”，并由一个全域“统一资源定位符”(URL)标识。这些资源通过超文本传输协议（HTTP）传送给使用者，而后者通过单击链接来获取资源。超文本传输协议（Hypertext Transfer Protocol，HTTP）是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。HTTP定义了。

HTML（Hypertext Markup Language）是一种标记语言，用于创建和呈现网页。它是构建网页的基础，并且具有简单易学的语法规则。HTML以标签为基本单位，通过嵌套和属性来描述和格式化网页上的内容和结构。HTML最初由蒂姆·伯纳斯-李（Tim Berners-Lee）在1990年创造，旨在促进信息共享和互联网上各种文档之间的链接。如今，HTML成为了万维网的核心技术之一，被广泛应用于网页制作、网站开发和跨平台内容交互等领域。内容（结构）：是我们在页面中可以看到的数据。我们称之为内容。

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。通过一个程序，根据URL进行爬取网页，获取有用的信息使用程序来模拟浏览器，去向服务器发送请求，获取响应信息那么爬虫的核心是什么呢？爬取网页：爬取整个网页，包含了网页中所有得到的内容解析数据：将网页中得到的数据进行解析同时，我们做爬虫的难点：爬虫与反爬虫之间的博弈。

本文介绍了各种文件操作的方法，包括普通的txt文件的读写，还有一些强大的python库，例如os模块、json模块、pandas模块、csv模块。对于每一个知识点，都给出了详细的用法说明和代码示例，欢迎各位大佬前来阅读与批评指正！

正则表达式（Regular Expression，在代码中常简写为regex、regexp或RE）是一种模式化的字符串，用于搜索、替换、分割和匹配文本数据。其基本思想是使用一些特殊的字符表示一个给定的模式，然后在文本中匹配这个模式。匹配：判断给定的字符串是否符合正则表达式的过滤逻辑；获取子串：可以通过正则表达式，从字符串中获取我们想要的特定部分。非常强的灵活性、逻辑性和功能性；可以迅速地用极简单的方式达到字符串的复杂控制。对于刚接触的人来说，比较晦涩难懂。

每一门语言中都有不同类型的变量，python也不例外，提供了6种数据类型，分别是数字（Number）、字符串（String）、列表（List）、元组（Tuple）、集合（Set）、字典（Dictionary），下面来详细的介绍一下：它支持4种类型，分别是整数、浮点数、复数、布尔类型浮点数也就是小数，但是与C或者Java不一样，python不需要事先说明是长整形还是短整型，定义方法如下复数用的比较少，它分为实部和虚部，在python中，实部用数字表示，虚部用数字+j来表示，定义方法如下：布