- 博客(35)
- 收藏
- 关注
RSS订阅原创 创建python项目环境时的一些知识
在虚拟环境中安装项目的依赖项是一个良好的实践，因为它可以隔离项目的依赖项，以防止与系统中的其他项目发生冲突。通过使用Conda虚拟环境，你可以轻松管理项目的依赖项，并确保项目之间的环境隔离。你可以根据不同的项目创建不同的虚拟环境，每个环境都可以拥有自己独立的包和配置。总之，使用哪种方法创建虚拟环境取决于项目的需求和你的偏好。如果你需要更强大的包管理和跨语言支持，以及更丰富的生态系统，那么Conda可能更适合你的需求。一旦虚拟环境被激活，你将在终端提示符前看到虚拟环境的名称，表示你已经进入了虚拟环境。
2024-05-16 22:05:50
579
原创 如何搭建一个高效的Python开发环境
不用更改，直接点击 Install，等待 2~3 分钟之后，即可完成安装。安装完毕之后，可以从程序中找到 Anaconda Navigator，点击打开就可以看到整套 Anaconda3 的所有工具（如下图所示）：其中 Notebook 是数据分析应用范围最广泛的工具，但它却不是一款足够有效率的工具，因为它缺乏智能的代码输入联想、自动完成和错误提示。而有效率的分析师是不会容忍自己用“记事本”写代码的。
2024-05-16 21:35:12
864
原创 Python学习路线图：120天系统学习，你也能成大神！
学Python，切忌今天这学一点，明天那里学一点，零零散散没有系统的学习。这样不仅耽搁大家时间，久而久之也会消磨大家学习的兴致！这里给大家总结了一张系统的Python学习路线图！希望大家共勉！
2024-05-14 21:42:27
850
1
原创 Python 函数式编程
其实 lambda 表达式本身就是一个函数，这个函数定义了输入（冒号左边）和输出（冒号右边），只不过这个函数没有名字，但是我们可以把它赋给一个变量。一般函数的输入参数和返回值都只能是变量或常量，如果某个函数可以接收函数作为其输入参数，或者其返回值中包含函数，那么该函数就是高阶函数。因为 filter() 的输入参数中包含函数 f() ，所以 filter() 是高阶函数。可以看到，f 确实是个函数，可以接收两个参数，并返回这两个参数的和，等价于上面的 add 函数。比如简单的加法函数。
2024-05-11 21:06:59
402
原创 Python 字符串格式化，你了解多少？
本文详细介绍了Python中常用的字符串格式化方法，包括传统的操作符、format()方法、f-strings、字符串模板和方法。每种方法都有其特点和适用场景，读者可以根据具体需求选择最合适的方式。字符串插值运算符{}是一种更简洁、直观的字符串插值语法，推荐在Python 3.8及以上版本中使用。
2024-05-09 21:42:39
744
原创 数据分析实战-Python实现博客评论数据的情感分析
在学习前，我们先了解下什么是SnowNLP？SnowNLP是Python的第三方模块或者库；SnowNLP主要作用是可实现对评论内容的情感预测。Python实现博客评论数据的情感分析实际是使用了SnowNLP库的功能，SnowNLP不仅可以对评论数据进行情感分析，还能进行文本分类、中文分词、词性标注、提取关键词、文本相似度计算等操作。这样做数据分析其实为了帮助我们更好的了解我们的目标客户对于产品的使用反馈，可以很好帮助我们进一步提升产品质量。
2024-05-09 21:33:09
762
原创 python能够干什么？
这种方法需要登Anaconda的官网，去上面下载Anaconda，下载完之后本地安装，如果觉得设置路径很麻烦的时候，安装的时候记得勾选：帮我设置全局变量，这样子你就可从cmd里面唤起Anaconda，优点是方便安装，并且这个软件安装的时候，他的默认库帮你集成了一系列数据分析软件，并且整个Anaconda是想建设一个Python生态的，所以你可以通过Anaconda的主界面安装其他Python辅助软件，缺点是Anaconda又重又不好弄，开一个主界面要跑三分钟多，并且很吃电脑内存。
2024-05-08 19:36:19
796
原创 Python 开发命令行工具 - PyTips 0x06
Python 作为一种脚本语言，可以非常方便地用于系统（尤其是*nix系统）命令行工具的开发。Python 自身也集成了一些标准库，专门用于处理命令行相关的问题。*nix 系统中，一切皆为文件，因此标准输入、输出可以完全可以看做是对文件的操作。当 Python 能够准确地解读输入信息或参数之后，就可以通过 Python 去做任何事情了。可以很方便地解析选项参数，同时可以定义指定参数的相关属性（是否必须、默认值等），同时还可以自动生成帮助文档。标准库，它的存在就是为了替代旧的。传递的选项参数，如果是对。
2024-05-08 19:31:52
444
原创 几个提高工作效率的 Python 内置小工具
但是，如果需要传送的文件较多，那么，操作起来就会比较麻烦。此外，如果文件在远程的服务器上，你要将文件传给同事，则需要先将远程服务器的文件下载到本地，然后再通过聊天工具传给同事。为了读取zip格式的压缩包，需要使用unzip，而大部分操作系统都没有安装unzip，因此，每次需要在Linux下解压zip格式的压缩包都会比较麻烦。例如，在笔者的工作过程中，我们的系统会调用底层服务的API，底层服务的API一般都是以JSON的格式返回，为了便于问题追踪，我们会将API返回的JSON转换为字符串记录到日志文件中。
2024-05-08 19:27:15
1026
原创 用Python制作截图小工具
这篇文章讨论了我们如何使用Python编程语言进行截图。我们看到了如何使用pyautogui 模块与save() 函数和其他模块，如NumPy 和OpenCV。我们还学习了如何使用Python的Pillow 模块来捕捉屏幕的一部分。此外，我们还看到了如何使用pyscreenshot 模块来捕获整个屏幕和它的一部分。
2024-05-07 20:16:27
969
原创 Python爬虫教程:入门爬取网页数据
本文简单介绍了爬虫的基础知识以及需要用的库和方法，并做了非常简单的示例。总地来说，爬虫就是模拟网络请求，并解析、提取出我们想要的数据。爬虫可以帮助我们更快地获取网站上的数据，为工作和生活带来诸多便利。当然，也希望在学习 python 爬虫的过程中，大家能够更好的理解和应用 python的语法。
2024-05-07 20:11:05
1233
原创 Python爬虫提高排名
而Python爬虫作为一种强大的工具，可以帮助网站主们提升搜索排名，吸引更多的流量和用户。本文将为您揭秘如何利用Python爬虫来改善您的SEO优化，并帮助您提升搜索排名。无论您是刚开始接触Python爬虫还是有一定经验的用户，本文都将为您提供实用的操作步骤和示例代码。通过收集关键字信息、分析竞争对手的网站页面等操作，您可以改善网站的SEO优化，并帮助您提升搜索排名。利用Python爬虫的特性，我们可以收集关键字信息、分析竞争对手的网站页面等，为网站的SEO优化提供有力的支持。
2024-05-06 21:36:11
627
原创 Python中的分布式爬虫系统Scrapy与分布式任务队列的结合
Scrapy 是一个强大的 Python 爬虫框架，它提供了强大的抓取能力和灵活的数据提取功能。通过 Scrapy，我们可以轻松地定义爬虫的流程、规则和数据处理方式，从而快速地构建一个高效的单机爬虫系统。分布式任务队列是一种用于分发任务并协调多个节点之间工作的系统。它通常由任务生产者、任务队列和多个任务消费者组成。任务生产者负责生成任务并将其放入队列中，而任务消费者则从队列中获取任务并执行。
2024-05-06 21:29:53
682
原创 Python-Web-爬虫实用指南（一）
在本节中，您将获得有关网络抓取（抓取要求、数据重要性）、网页内容（模式和布局）、Python 编程和库（基础和高级）、以及数据管理技术（文件处理和数据库）的概述。第一章，网络抓取基础爬取是从网络中提取、复制、筛选或收集数据的过程。从网络（通常称为网站、网页或与互联网相关的资源）中提取或提取数据通常被称为“网络爬取”。网络爬虫是一种适用于特定需求的从网络中提取数据的过程。数据收集和分析，以及其在信息和决策制定中的参与，以及与研究相关的活动，使得爬取过程对所有类型的行业都很敏感。
2024-05-06 21:24:53
813
1
原创 【Python】初识爬虫
简单来说：代替人去模拟浏览器进行网页操作。网络协议是计算机之间为了实现网络通信而达成的一种“约定”或者”规则“，有了这种”约定“，不同厂商的生产设备，以及不同操作系统组成的计算机之间，就可以实现通信。
2024-05-05 22:30:26
1271
原创 Python网络爬虫原理及实践（2）
爬虫数据结构定义主要结合业务需求和数据抓取的结果进行设计，微博数据主要用户国内的舆情系统，所以在开发过程中将相关站点的数据统一定义为OpinionItem类型，在不同站点的数据保存过程中，按照OpinionItem数据结构的特点装配数据。请求结果分析主要分析数据结构的特点，查找与正文内容相同的数据结构，同时要检查所有结果是否与正文内容一致，避免特殊返回结果影响数据解析过程。（1）用浏览器（最好是新开浏览器，如Chrome的隐身模式）模拟请求过程，在地址栏中输入带有参数的请求地址查看返回结果。
2024-05-05 22:28:39
883
1
原创 Python网络爬虫原理及实践
scrapy.cfg是scrapy框架的入口文件，settings节点指定爬虫的配置信息，deploy节点用于指定scrapyd服务的部署路径。[deploy]url =
2024-05-05 22:24:42
1474
1
原创 使用 Python 实现简单的爬虫框架
爬虫是一种自动获取网页内容的程序，它可以帮助我们从网络上快速收集大量信息。在本文中，我们将学习如何使用 Python 编写一个简单的爬虫框架。
2024-05-01 16:15:00
334
原创 python | 基础语法(3)
其中三引号可以由多行组成，编写多行文本的快捷语法，常用于文档字符串，在文件的特定地点，被当做注释。) 来表示字符串，引号的开始与结束必须是相同类型的。（更详细的python字符串知识参见。语句中包含 [], {} 或 () 括号就不需要使用多行连接符。python 中多行注释使用三个单引号(''')或三个双引号(""")。但是我们可以使用斜杠（ \）将一行的语句分为多行显示，如下所示。Python语句中一般以新行作为语句的结束符。Python 可以使用引号(
2024-05-01 12:30:00
450
原创 Python爬虫防止被封的方法：动态代理ip
以上代码中，我们在middlewares.py文件中定义了ProxyMiddleware中间件，每次请求时会从代理池列表中随机选择一个代理，来进行IP代理操作。代理池管理非常重要，我们需要及时更换代理池中的代理，以免被网站发现并封掉IP地址。本文介绍了Python爬虫动态IP代理防止被封的方法，主要包括使用第三方库和爬虫框架两种实现方式，同时还介绍了预防被封的方法。在实际操作中，我们需要对代理池进行管理，设置请求间隔时间，使用多个代理等，以确保能够顺利地完成网站爬取任务。
2024-04-29 22:03:47
303
原创 【Python】初识爬虫
简单来说：代替人去模拟浏览器进行网页操作。网络协议是计算机之间为了实现网络通信而达成的一种“约定”或者”规则“，有了这种”约定“，不同厂商的生产设备，以及不同操作系统组成的计算机之间，就可以实现通信。
2024-04-29 21:57:07
1259
原创 开始简单的爬虫
首先打开我们创建的第一个python文件。在文件的开头我们首先导入依赖。输入这里我们爬取的是百度的源代码。我们使用一个变量response来接收我们爬取的结果，然后将结果打印出来。右键鼠标，选择Run就可以运行了！输出的结果如下：可以看到就是百度网页的源代码。
2024-04-28 22:14:47
943
1
原创 Python爬虫教程
接下来要安装爬虫需要的依赖包，有bs4、re、urllib、xlwt、sqlite这些我们需要的库。其中re和sqlite库Python已经为我们预安装好了，所以只需要安装剩下的三个就可以啦。5.在主界面的最下面有个进度条，会告诉你依赖包下载的进度。如果下载失败了，可以回到上方图片的页面，点击。，即整个爬虫项目在电脑中的位置，选一个自己记得住的全英文路径即可(如。，输入文件名字（比如demo1），回车就创建啦。6.重复上面的步骤，下载bs4、xlwt依赖包。然后重新输入依赖包名称，再下载就可以啦。
2024-04-28 22:09:31
460
1
原创 Python 运算符学习教程
使用算术运算符，我们可以进行各种算术运算，如加法、减法、乘法、除法、模数、指数等。Python 提供了多种算术计算方式，如 eval 函数、声明变量和计算或调用函数。每个运算符执行一些操作，例如加法、乘法来操作数据和变量。在这种情况下，“%”是计算除法余数的模运算符。作为输入传递的数字“7”和“4”是操作数，而数字“3”是执行操作的结果。在 Python 编程中，比较运算符允许我们确定两个值是否相等或一个值是否大于另一个，然后根据结果做出决定。下表概述了 Python 中的内置算术运算符。
2024-04-28 22:05:22
227
2
原创 python | 基础语法(2)
标识符是允许作为变量（函数、类等）名称的有效字符串。其中，有一部分是关键字（语言本身保留的标识符），它是不能做它用的标识符的，否则会引起语法错误（SyntaxError 异常）。Python 还有称为 built-in 标识符集合，虽然它们不是保留字，但是不推荐使用这些特别的名字。Python 是动态类型语言， 也就是说不需要预先声明变量的类型。变量的类型和值在赋值那一刻被初始化。变量赋值通过等号来执行。Python的有效标识符由大小写字母、下划线和数字组成。
2024-04-27 21:47:56
523
原创 python | 基础语法
提到的Anaconda环境下的Jupyter Notebook进行交互式Python编程，启动Jupyter Notebook并新建Notebook如下，就可以在cell中进行代码编写和交互了。如果我们需要完成的任务较为复杂，我们可以把中间处理过程组织梳理成python脚本，然后通过脚本参数调用解释器开始执行脚本，直到脚本执行完毕。交互式编程不需要创建脚本文件，是通过Python解释器的交互模式进来编写代码。让我们写一个简单的 Python 脚本程序。将以下的源代码拷贝至 test.py 文件中。
2024-04-27 20:50:38
234
原创 图解python | 字典（2）
访问字典里的值把相应的键放入熟悉的方括弧，下面是代码示例（代码可以在在线python3环境中运行）：以上实例执行结果如果用字典里没有的键访问数据，会输出错误如下：以上实例输出结果：
2024-04-26 22:03:51
208
2
原创 图解python | 字典
键一般是唯一的，如果重复最后的一个键值对会替换前面的，值不需要唯一。字典是另一种可变容器模型，且可存储任意类型对象。分割，每个键值对之间用逗号。分割，整个字典包括在花括号。值可以取任何数据类型，但。
2024-04-26 21:57:49
99
原创 python基础用法
打印输出内容的方法是 ，在括号里放入要输出的内容，运行后就会输出到控制台。 变量的作用是存储数据。假设有一段很长的话需要经常打印，如果没有变量，每次打印都要输入那段话，即使是复制粘贴也是很麻烦。 如果过了几天要改这段话的内容，就需要改很多处了。比如把“雷猴”改成“鲨鱼辣椒”此时变量就派上用场了。我们可以创建一个变量记住这段话，输出的时候就直接输出这个变量，要修改输出内容就只需要修改一处地方，大大提高工作效率。 在 里，创建一个变量的语法如下：
2024-04-25 21:08:53
204
原创 python运行
在终端输入以下命令可以进入python的交互模式在终端输入完python进入交互模式后会出现“>>>”，在3个尖括号后面输入你要执行的代码，python运行完会接着输出。比如上面输入1+1python接着会输出2。最后使用exit()可以退出交互模式。
2024-04-25 21:03:35
231
原创 python安装
打开安装包，选择“Use admin privileges when installing py.exe” 和 “Add python.exe to PATH”，然后点击 “Install Now” 即可。然后打开命令行（在开始菜单搜索“CMD”），看看能不能输出。点击下载之后，一直点“继续”就能安装成功。，首先要把它安装到你电脑里。如果能输出就证明安装成功。会自动推荐你下载 Mac 的。由于 Mac 默认安装了。
2024-04-25 20:58:46
484
2
原创 python漏洞解决办法
1、使用flask封装服务，在正式上线前，使用检测软件进行检测，发现代码有漏洞。选择下载的版本，我选择的是3.6，然后点击下载。2.根据漏洞提示，下载相关补丁，下载链接。
2024-04-24 19:55:44
497
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人