![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 85
Hehuyi_In
这个作者很懒,什么都没留下…
展开
-
娱乐时间 —— 用python将图片转为excel十字绘
图片的每一个像素点都可以数值化,那么将构成图片的每一个像素点填充到excel的单元格中去,然后合理调整单元格长宽比便可以拼成一副画。反过来想,用一张单元格足够小的excel表格将图片蒙上一层,犹如用 一张网去切割这张图片,图片被切割成一小块一小块 ,如果网格足够细,每一小块里面的颜色几乎只有一种,这样就可以用一个三元组(RGB)来刻画 ,这样一张图片就可以由一个很大的矩阵来刻画 ,矩阵中的每一个元素都是一个 RGB三元组。最近看蛮多朋友在玩,要么只能画比较简单的,要么非常花时间。原创 2023-09-10 17:20:21 · 2231 阅读 · 1 评论 -
Python 数据获取(五)—— 获取客户端渲染方式数据
前面的例子都是获取的服务器渲染数据,本篇来尝试获取客户端渲染数据,案例就是CSDN,尝试用魔法打败魔法(狗头。 目标:获取指定博主ID所有的文章标题、链接、阅读量。也就是要获取的数据在不在源代码中 右键,查看网页源码,发现标题、链接、阅读数、点赞数等都有,开心地以为这是服务器渲染方式。 但是再往下多滚几页,再点查看源码,你会发现源码一点变化都没有。所以其实这是客户端渲染方式,源码看到的那些数据只是框架而已。 既然如此,应该直接去取它推送的格式化数据。原创 2020-05-03 22:26:03 · 2397 阅读 · 0 评论 -
Python将word表格存入excel —— 格式化pg参数手册
收到一份《PostgreSQL13商用文档之PG参数参考手册》,打算学习一下,打开文档一看,151页T_T。参数虽然有分类,但不太有规律,word文档格式如下:个人觉得如果用excel来存这个表格,并且按分类来排序或者分sheet,查阅或者学习会更方便。由于参数实在太多,靠手工复制这个周末就不要了,之前学爬虫的时候学习了Python操作excel,想必它也能操作word,于是找文章学习了一会。手动去掉不需要的段落及换行符,替换完的文档长这样执行结果如下: 简单调整下excel格式,按参数分原创 2022-07-09 10:45:21 · 2240 阅读 · 0 评论 -
Python 数据获取(四)—— BeautifulSoup获取小说内容
要使用bs4,首先需要安装对应的包 pip install beautifulsoup4 本质是通过html中的标签、或者标签中的属性定位到其中的内容。这个过程可以重复多次,例如你可以找到一个较大范围的唯一标签,再在其中定位想要的内容。因此,它比正则表达式要容易上手得多,你只需要找对应标签即可。属性的几种写法: 由于html部分标签属性的关键字跟python关键字是一样的(例如class),直接写这些属性名会报python语法错误,因此bs4的属性有两种写法可原创 2022-06-19 22:54:03 · 3605 阅读 · 3 评论 -
Python 数据获取(三)—— 正则表达式获取目录链接
本节是自己改编的用正则表达式抓取数据案例,在第一篇结尾我们留下了两个问题,学习了第二篇的正则表达式后,我们可以尝试去解决了。在获取小说内容之前,我肯定得先从目录拿到每一章的标题和链接 也就是要的数据在不在源代码中。建议多往后翻几页看看,有些网页源码只是有第一页的数据,后面的就没有了(例如csdn)。如果是客户端渲染,就不能用正则表达式来取。 这里我看了几页,数据都是在源码中的,那就比较简单了。首先写个最简单的print,获取网页信息,方便起见headers参数一并加上。我们要标题、链接原创 2022-06-18 23:35:34 · 3092 阅读 · 0 评论 -
Python 数据获取(二)—— 数据解析与正则表达式
这几种方法可以混着用,看哪种简单,本节我们先学习正则表达式。有一个在线正则表达式测试小工具,可以用来学习https://tool.oschina.net/regex# 贪婪匹配:中间尽量多匹配,到最后一个符合的才停下。其实按照之前的理解:.匹配任意字符(除换行符),*重复0或多次,因此基本上中间的所有内容都会匹配到,所以它叫贪婪。原理是这样的: 惰性匹配:只匹配第一次符合的,然后就停下。.*跟贪婪匹配一样,但?表示重复0或1次,也就是说如果有多次出现,最多匹配到一个就停下了,所以它叫原创 2022-06-12 00:29:19 · 2884 阅读 · 1 评论 -
Python 数据获取(一)—— request模块、变量使用与传参方式
服务端渲染:在页面源代码中能看到数据,直接、简单,但数据通常没什么格式,需要想办法匹配。客户端渲染:在页面源代码不能看到数据,需要第二次请求,但是它的数据通常是json或者固定格式的,处理方便。所以本质上,两种渲染方式对爬取各有优劣 这个headers指的是html的头信息(绿框),这部分信息是给浏览器看的。人看的是body部分(蓝框)。打开一个网页,例如豆瓣电影 https://movie.douban.com/top250按 F12抓包,刷新一下页面,这个headers部分就是了。原创 2022-06-11 21:26:36 · 11684 阅读 · 0 评论 -
Python Django(二)—— 项目结构、配置简介、路由与视图函数
Python Django(二)—— 项目结构、配置简介、路由与视图函数原创 2022-06-04 17:19:48 · 2725 阅读 · 0 评论 -
2. python 变量和简单类型
一、 注释python允许在任何地方插入空字符串与注释,但不能插入到标识符和字符串中间python注释有两种形式单行注释:以#开头的一行 多行注释:被三个单引号或双引号括起来的多行# 这是一行注释'''这也是一行注释用三个单引号注释可多行内容'''"""这还是一行注释用三个双引号注释可多行内容"""二、 变量1. python是弱类型语言所有变量无...原创 2019-09-21 17:34:45 · 1406 阅读 · 0 评论 -
Python连接postgresql数据库入门
关于Python及pycharm的安装参考:1. python+pycharm 安装及测试_Hehuyi_In的博客-CSDN博客_pycharm安装成功测试首先需要安装psycopg2模块(已经有了3版本,不过看网上例子基本还是用2)pip install psycopg2下面来看一个例子,执行建表、insert、select操作#!/usr/bin/env python# -*- coding:utf-8 -*-#@Time : 2022/5/21 23:20#.原创 2022-05-22 11:26:00 · 3043 阅读 · 2 评论 -
python调用阿里云sdk入门(hello world)
关于Python及pycharm的安装参考:1. python+pycharm 安装及测试_Hehuyi_In的博客-CSDN博客_pycharm安装成功测试本文直接介绍如何调用阿里云sdk访问云上资源,例如ecs,rds等。一、 安装sdk包建议先升级pip到新版本,否则有些包安装会报错。python -m pip install --upgrade pip安装一些常用的sdk包,例如core,rds,ecs, dtspip install aliyun-pytho原创 2022-05-20 22:40:08 · 3667 阅读 · 0 评论 -
Python Django(一)—— Django 简介、安装、创建第一个项目
Django 是一个由 Python 编写的一个开放源代码的 Web 应用框架。使用 Django,只要很少的代码,Python 的开发人员就可以轻松地完成一个正式网站所需要的大部分内容,并进一步开发出全功能的 Web 服务。Python +Django 是快速开发、设计、部署网站的最佳组合。Django 版本与 Python 环境的对应表如下,建议对照表来选择Django和Python版本,以免造成不兼容等问题。 Django 版本 Python 版本 ...原创 2020-10-25 19:13:06 · 22455 阅读 · 7 评论 -
6. python 类和对象
两个功能(以下简称profile和baseline)都能固定SQL的执行计划:profile是10g开始提供的功能,baseline是11g开始提供的功能 profile只能固定一个执行计划,baseline可以固定多个执行计划。如某sql有10个执行计划,可以用baseline固定使用其中的2个,根据11g adaptive plan的特性,让优化器从这2个计划中自动选择,fixed属性为yes的执行计划优先被选择,可以设置多个计划的fixed=yes profile的执行计划可以直接从历史数据(原创 2020-05-15 23:55:20 · 1533 阅读 · 1 评论 -
python自动化运维——系统批量运维管理器pexpect详解
pexpect可以理解成Linux下的expect的Python封装,通过pexpect我们可以实现对ssh、ftp、passwd、telnet等命令进行自动交互,而无需人工干涉来达到自动化的目的。比如我们可以模拟一个FTP登陆时的所有交互,包括输入主机地址、用户名、密码、上传文件等,待出现异常我们还可以进行尝试自动处理。一、 pexpect的安装支持三种安装方式:pip安装、eas...原创 2019-12-01 20:02:46 · 6164 阅读 · 1 评论 -
python发送各类QQ邮件 —— smtplib与email模块
SMTP是发送邮件的协议,Python 2.3版本开始内置对SMTP的支持,可以发送纯文本邮件、HTML邮件以及带附件的邮件。本文以QQ邮件为例,用python发送各类邮件。Python对SMTP支持主要使用smtplib和email两个模块,email模块负责构造邮件,smtplib模块负责发送邮件。一、 传输简单邮件 smtplib模块1. SMTP类定义smtplib.SMTP([host[,port[,local_hostname[,timeout]]]])作为SMTP的构原创 2019-12-01 02:04:29 · 10332 阅读 · 4 评论 -
MySQL 导出导入的101个坑
最近接到一个业务自行运维的MySQL库迁移至标准化环境的需求,库不大,迁移方式也很简单,由开发用myqldump导出数据、DBA导入,但迁移过程坎坷十足,记录一下遇到的各项报错及后续迁移注意事项。原创 2024-06-02 12:16:58 · 2154 阅读 · 1 评论 -
3. python 列表、元组和字典
一、 序列简介序列是一种包含多项数据的数据结构 python常见序列类型包括字符串、元组、列表等 其中字符串与元组是不可变的,而列表是可变的 元组创建列表使用(),而列表使用[]>>> my_tuple=('fff',20,'dddd')>>> print(type(my_tuple))<class 'tuple'>>>...原创 2019-09-22 19:56:45 · 1460 阅读 · 0 评论 -
4. python 流程控制
一、 顺序结构代码从上到下一行行执行,没有任何判断和跳转二、if分支结构python中流程控制须格外注意缩进,否则可能遇到各种奇奇怪怪的错误 else if的写法是elif 注意if,else,elif后面加冒号: False、0、各种表示空的值(None,"",'',(),[],{}),在if判断时都为假;但注意" ",' '(一个空格)为真 pass语句相当于一个占位符,表...原创 2019-09-22 22:24:35 · 1283 阅读 · 0 评论 -
5. python 函数与lambda表达式
一、 函数入门1. 定义与调用def 函数名(p1,p2,...pn): #可执行语句 [return [返回值|表达式]]举个栗子def my_max(x,y): if x >= y: result=x else: result=y return result#调用result=my_max(...原创 2019-09-25 01:03:30 · 1578 阅读 · 0 评论 -
7. python异常处理
一、 异常处理机制异常处理使得程序具有极好的容错性,让程序更加健壮。 分离了“业务实现”和“错误处理”代码,提供了更好的程序可读性。 异常处理机制主要依赖try,except,else,finally和raise五个关键字。 异常处理可以嵌套,但通常不建议超过2层。嵌套过多可能导致程序性能下降,同时降低了可读性。1.try...except...#伪代码try: #业...原创 2019-10-03 00:52:50 · 1467 阅读 · 0 评论 -
8. python类的特殊方法
特殊方法、属性通常以双下划线__开头,开发者可以直接调用也可以重写它们一、 常见的特殊方法1. __repr__()方法输出对象的“自我描述”信息,返回该对象实现类的“类名+object at+内存地址”class Item: def __init__(self,name,price): self.name=name self.price=...原创 2019-10-03 13:11:01 · 1475 阅读 · 0 评论 -
9. python 模块和包
python的标准安装默认包含了一组自带的模块,这些模块被称为标准库一、 模块化编程1. 导入模块import语句主要有两种用法:import 模块1 [as 别名1],模块2 [as 别名2],...,模块n [as 别名n]from 模块名 import 成员1 [as 成员1],成员2 [as 成员2],...,成员n [as 成员n]第一种导入模块中所有成员,使用...原创 2019-10-04 11:33:28 · 1290 阅读 · 0 评论 -
12. python文件IO
一、os模块与目录python 3.4版本后支持了pathlib模块,它采用面向对象的方式处理路径,更加简洁方便,建议使用pathlib替代os模块。但在3.4之前还是只能使用传统的os模块。1. 与目录相关的函数os.getcwd():获取当前目录。 os.chdir(path):改变当前目录。 os.fchdir(fd):通过文件描述符改变当前目录。与上一个函数的功能相...原创 2019-10-08 00:23:23 · 1513 阅读 · 0 评论 -
1. python+pycharm 安装及测试
一、 下载https://www.python.org/ftp/python/3.6.4/python-3.6.4-amd64.exe二、 安装python 3.6 很简单,下一步下一步就行,装完后配置环境变量。若安装时选择了也安装pip(推荐,否则pip和python版本不对应可能会报错),则可直接用pip安装IPy测试安装结果C:\Users >pytho...原创 2019-11-30 15:30:22 · 4984 阅读 · 1 评论