- 博客(29)
- 资源 (2)
- 收藏
- 关注
原创 vmware 给多台Ubuntu虚拟机设置静态IP,都是2020最新版本
在网上看了很多教程,各种方式,各种更改配置文件,可能是版本不一样吧,搞了两三天都没弄好,然后偶然给试好了。背景:因为要部署Hadoop环境,需要多台机器,然而在虚拟机上,每次开机ip都会变,不胜其烦,每台虚拟机都需要一个静态ip。环境:vmware版本:VMware® Workstation 15 Pro 15.5.2 build-15785246Ubuntu版本:Ubuntu 18.0...
2020-05-04 01:00:29
1120
原创 kettle最新版本,各版本6.1,7.1,8.1,8.2国内镜像下载地址
kettle各版本国内镜像下载地址:http://mirror.bit.edu.cn/pentaho/
2020-04-01 16:38:38
23659
5
原创 使用python将图片转彩色字符画,并打包成exe文件
参考网上的一些教程编写的一款功能简单的小工具,可以将图片转换为用字符代替的图画。效果:原图### 转换后效果图放大后细节图源码# -*- coding:utf-8 -*-from PIL import Image, ImageFont, ImageDrawfrom tkinter import filedialog, Tkdef open_path(): # 图...
2020-03-31 16:25:14
1485
1
原创 使用python scrapy爬取全国小区信息(包括小区价格,经纬度,面积,户数等),并保存到mysql和excel
目标此次爬取的网站是楼盘网,因为只爬取小区信息,所以先从深圳小区(http://sz.loupan.com/community/)网页入手分析,然后发散爬取至全国。爬取的信息包括 省,所属市,所属区,小区名,小区链接,详细地址,经纬度,交通,价格,物业类型,物业价格,面积,户数,竣工时间,车位数,容积率,绿化率,物业公司,开发商。保存至Excel和mysql,也可以保存至MongoDB,看...
2020-03-27 17:31:54
11262
7
原创 pyqt5 将主线程参数传入子线程,子线程调用主线程参数
这个问题纠结了我很久这是软件界面,点击开始,需要将选择的参数,传入到子线程去运行,因为运行时间很长,防止卡死,所以使用的多线程,研究了很久,最简单的方法,就是在主线程里面将变量设为全局变量。即:globel a,b,c,d然后,在子线程调用a1 = ab1 = bc1 = cd1 = d接下来就可以完美运行子线程了,参数也是根据自己的选择而变化。完整代码就不写了,pyqt...
2019-12-24 17:13:05
9559
13
原创 MYSQL:两个字段的(顺序无关,a,b 与 b,a)去重并统计
工作中碰到的问题,要分组计数,且a字段和b字段顺序无关。a b1 22 12 33 2↓↓a b count1 2 22 3 2研究了很久,然后发现可以使用case when 加 concat函数select t.,case when a>b then concat(a,b) else concat(b,a) end as cfrom tab...
2019-12-10 11:34:25
1356
1
原创 Mysql千万级大数据量查询优化
对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t wher...
2019-10-31 13:49:11
615
原创 最全python爬虫面试笔试题及答案汇总,三万多字,持续更新,适合新手,应届生
目录一些经典的Python爬虫和网络编程面试题... 11、动态加载又对及时性要求很高怎么处理?... 12、分布式爬虫主要解决什么问题?... 13、什么是 URL?... 14、python 爬虫有哪些常用技术?... 15、简单说一下你对 scrapy 的了解?... 16、Scrapy 的优缺点?. 17、scrapy 和 request?. 18、五层...
2019-07-03 17:22:19
15342
4
原创 'scrapyd-deploy' 不是内部或外部命令,也不是可运行的程序或批处理文件
环境:python3.7在部署分布式的时候,安装好scrapyd-client之后,运行scrapyd-deploy出现 “'scrapyd-deploy' 不是内部或外部命令,也不是可运行的程序或批处理文件”错误解决方案:①找到scrapyd-deploy文件,这里每个人配置的pip安装路径不同一般是在你安装脚本的文件夹里,比如我的路径是E:\python_pycha...
2019-06-19 10:08:15
2654
原创 'scrapy' 不是内部或外部命令,也不是可运行的程序 或批处理文件。完美解决!!!!
初学scrapy,在命令行下运行scrapy startproject zhihuuser的时候出现'scrapy' 不是内部或外部命令,也不是可运行的程序或批处理文件。碰到这个问题,一般是pip重装或者升级过导致的,这里的解决方案是:先运行pip uninstall scrapy卸载scrapy这里会提示是否继续,输入y然后回车即可接下来重新安装scrapy,pip ins...
2019-06-10 23:31:10
22114
4
原创 解决module 'pip' has no attribute 'main'问题
在更新pip之后,遇到报错:module 'pip' has no attribute 'main'尝试了网上的众多方法,最多人说的更改packaging_tool.py里面的do_install(pkgs)和do_uninstall(pkgs)没有解决,然后无论是升级、降级、卸载重装,都没有用于是我用Everything搜索了pip安装的目录site-packages接下来,分别...
2019-05-31 18:49:08
1739
原创 win10下使用docker所遇到的问题汇总,安装scrap-splash
本来是想安装一个scrap-splash,但是书上说通过docker安装,于是几经波折~~从dockerhub上下载docker安装好后,陆陆续续的遇到很多问题,折腾一个上午,现在把问题综合一下①Docker requires Hyper-V to run这个好解决,直接按Enable &Restart按钮就会重启然后自动开启,或者:控制面板 -> ...
2019-05-24 14:42:51
4145
4
原创 pyspider all运行出错:①SyntaxError: invalid syntax,② - Deprecated option 'domaincontroller': use 'http_au
运行环境:win10 64位,python 3.7在安装好pyspider后,运行pyspider all之后出现如下错误:在研究了一个上午之后,集众多网友智慧,这个错误的原因是:python3.7不兼容pyspider问题(出现占用关键字的问题)Python 3.5中引入了async和await,它们在Python 3.7中成为关键字。所以需要替换一下关键字。在C:\U...
2019-04-25 11:03:04
6733
5
原创 Requests库主要方法解析——request函数
(一)request()方法 **kwargs 13个控制访问参数params: 字节或字节序列,作为增加到url中的参数2.data 3.json(http协议最经常使用的数据格式) 4.head(可模拟任何我们想要模拟的浏览器向服务器发起访问)代表了向某url发起访问时的http的头字段定制协议头 5.cookies...
2019-01-24 20:03:54
4822
原创 from…import * 语句与 import 区别
import 模块:导入一个模块;注:相当于导入的是一个文件夹,是个相对路径。 from…import:导入了一个模块中的一个函数;注:相当于导入的是一个文件夹中的文件,是个绝对路径。所以使用上的的区别是当引用文件时是:import 模块.函数from…import 直接使用函数名使用就可以了所以from…import *:是把一个模块中所有函数都导入进来; 注:相当于...
2019-01-24 19:57:34
2747
原创 Session对象------会话维持
Session:在计算机中,尤其是在网络应用中,称为“会话控制”。Session 对象存储特定用户会话所需的属性及配置信息。这样,当用户在应用程序的 Web 页之间跳转时,存储在 Session 对象中的变量将不会丢失,而是在整个用户会话中一直存在下去。当用户请求来自应用程序的 Web 页时,如果该用户还没有会话,则 Web 服务器将自动创建一个 Session 对象。当会话过期或被放弃后,服务器...
2019-01-22 15:16:56
1180
原创 Python 字典 items()方法的简单解析与用法
Python 字典 items() 函数作用:以列表返回可遍历的(键, 值) 元组数组。items()方法语法:dict.items()实例:dict = {'老大':'15岁', '老二':'14岁', '老三':'2岁', '老四':'在墙上' }print(dict.items())for key,va...
2019-01-15 21:25:39
58202
20
转载 python的requests发送/上传多个文件
1、需要的环境Python2.XRequests 库 2、单字段发送单个文件在requests中发送文件的接口只有一种,那就是使用requests.post的files参数, 请求形式如下:url = "http://httpbin.org/post"data = Nonefiles = { ... }r = requests.post(url, data, files=...
2019-01-14 22:40:58
4910
2
原创 AttributeError: module 'requests' has no attribute 'get'错误解析
报错原因:文件名和模块名冲突如图所示,看了很久没有发现代码有啥问题,但是就是报错,经排查是因为文件名是requests.py,和import模块导入requests冲突了,系统会认为我们导入的是当前的requests,py,所以产生报错...
2019-01-09 21:43:52
11474
4
原创 python3面向对象名词解析与用法(类、实例、属性、方法、对象)
面向对象名词简介类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。 方法:类中定义的函数。 类变量:类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。 数据成员:类变量或者实例变量用于处理类及其实例对象的相关的数据。 方法重写:如果从父类继承的方法不能满足子类的需求,...
2019-01-04 17:10:44
4857
原创 phthon isinstance()函数
描述isinstance() 函数来判断一个对象是否是一个已知的类型,类似 type()。instance:实例;例子;实体;比方isinstance() 与 type() 区别: type() 不会认为子类是一种父类类型,不考虑继承关系。 isinstance() 会认为子类是一种父类类型,考虑继承关系。 如果要判断两个类型是否相同推荐使用 isinstance()...
2018-12-26 22:04:20
4358
原创 datetime函数和random.seed()函数的应用
一,datetime在python中datetime是一个库是一个模块也是一个函数,作用很多,这里面只对其做简单的最常用的讲解。首先返回系统时间import datetimenowTime=datetime.datetime.now()print nowTime输出结果是: 2016-11-04 14:27:09.538000返回当天日期Today=datetime...
2018-10-24 16:57:17
5152
原创 mysql常用命令与操作
1、连接Mysql格式: mysql -h主机地址 -u用户名 -p用户密码1、连接到本机上的MYSQL。首先打开DOS窗口,然后进入目录mysql\bin,再键入命令mysql -u root -p,回车后提示你输密码.注意用户名前可以有空格也可以没有空格,但是密码前必须没有空格,否则让你重新输入密码。如果刚安装好MYSQL,超级用户root是没有密码的,故直接回车即可进入到MYSQL中...
2018-10-08 14:00:50
4384
原创 Python使用MySQL数据库,每行代码段注释
1插入数据: import pymysql.cursors# 连接MySQL数据库connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='198876', db='guest', charset='utf8mb4', c...
2018-09-26 17:53:52
4772
原创 Python整合MySQL出现AttributeError: module 'socket' has no attribute 'AF_UNIX'
运行环境1、pycharm3.62、MySQL 8.0.12首先是按照书本上的操作输入代码(123456为我的密码,按实际填写)import pymysqlconn = pymysql.connect(host='127.0.0.1', unix_socket='/tmp/mysql.sock',user='root', passw...
2018-09-18 14:21:18
10202
3
原创 python3的urlretrieve()方法的作用与使用(入门)
python3中urllib.request模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。urlretrieve(url, filename=None, reporthook=None, data=None)参数url:下载链接地址 参数filename:指定了保存本地路径(如果参数未指定,urllib会生成一个临时文件保存数据。) ...
2018-08-30 15:52:02
83556
4
转载 Python3网络爬虫使用User Agent和代理IP隐藏身份
运行平台:Windows Python版本:Python3.x IDE:PyCharm3.6转载自:http://blog.csdn.net/c406495762/article/details/60137956作者:Jack-Cui一、为何要设置User Agent 有一些网站不喜欢被爬虫程序访问,所以会检测连接对象,如果是爬虫程序,也就是非人点击访问,它就会不让你继续访问...
2018-08-30 11:23:44
5047
原创 python3中的os.path.dirname(__file__)的使用
os.path.dirname(__file__)的作用是 返回脚本的路径,即文件路径中所在的目录(不包含文件名),如下:import ospath = os.path.dirname('D:\test\t.py')print(path)结果: D:\testProcess finished with exit code 0注意事项:在运行的时候如果输入完整的执行的...
2018-08-30 10:23:53
13178
原创 python 中os模块os.path.exists()含义
os即operating system(操作系统),Python 的 os 模块封装了常见的文件和目录操作。os.path模块主要用于文件的属性获取,exists是“存在”的意思,所以顾名思义,os.path.exists()就是判断括号里的文件是否存在的意思,括号内的可以是文件路径。举个栗子:user.py为存在于当前目录的一个文件输入代码:import ospath ...
2018-08-30 09:31:38
223078
8
3万多字200道python爬虫笔试面试及答案汇总,适合初学者入门.docx
2019-07-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人