逸少凌仙-CSDN博客

原创 vmware 给多台Ubuntu虚拟机设置静态IP，都是2020最新版本

在网上看了很多教程，各种方式，各种更改配置文件，可能是版本不一样吧，搞了两三天都没弄好，然后偶然给试好了。背景：因为要部署Hadoop环境，需要多台机器，然而在虚拟机上，每次开机ip都会变，不胜其烦，每台虚拟机都需要一个静态ip。环境：vmware版本：VMware® Workstation 15 Pro 15.5.2 build-15785246Ubuntu版本：Ubuntu 18.0...

2020-05-04 01:00:29 1120

原创 kettle最新版本，各版本6.1,7.1,8.1,8.2国内镜像下载地址

kettle各版本国内镜像下载地址：http://mirror.bit.edu.cn/pentaho/

2020-04-01 16:38:38 23659 5

原创使用python将图片转彩色字符画，并打包成exe文件

参考网上的一些教程编写的一款功能简单的小工具，可以将图片转换为用字符代替的图画。效果：原图###　转换后效果图放大后细节图源码# -*- coding:utf-8 -*-from PIL import Image, ImageFont, ImageDrawfrom tkinter import filedialog, Tkdef open_path(): # 图...

2020-03-31 16:25:14 1485 1

原创使用python scrapy爬取全国小区信息（包括小区价格，经纬度，面积，户数等），并保存到mysql和excel

目标此次爬取的网站是楼盘网，因为只爬取小区信息，所以先从深圳小区（http://sz.loupan.com/community/）网页入手分析，然后发散爬取至全国。爬取的信息包括省，所属市，所属区，小区名，小区链接，详细地址，经纬度，交通，价格，物业类型，物业价格，面积，户数，竣工时间，车位数，容积率，绿化率，物业公司，开发商。保存至Excel和mysql，也可以保存至MongoDB，看...

2020-03-27 17:31:54 11262 7

原创 pyqt5 将主线程参数传入子线程，子线程调用主线程参数

这个问题纠结了我很久这是软件界面，点击开始，需要将选择的参数，传入到子线程去运行，因为运行时间很长，防止卡死，所以使用的多线程，研究了很久，最简单的方法，就是在主线程里面将变量设为全局变量。即：globel a,b,c,d然后，在子线程调用a1 = ab1 = bc1 = cd1 = d接下来就可以完美运行子线程了，参数也是根据自己的选择而变化。完整代码就不写了，pyqt...

2019-12-24 17:13:05 9559 13

原创 MYSQL：两个字段的（顺序无关，a,b 与 b,a）去重并统计

工作中碰到的问题，要分组计数，且a字段和b字段顺序无关。a b1 22 12 33 2↓↓a b count1 2 22 3 2研究了很久，然后发现可以使用case when 加 concat函数select t.,case when a>b then concat(a,b) else concat(b,a) end as cfrom tab...

2019-12-10 11:34:25 1356 1

对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t wher...

2019-10-31 13:49:11 615

原创最全python爬虫面试笔试题及答案汇总，三万多字，持续更新，适合新手，应届生

目录一些经典的Python爬虫和网络编程面试题... 11、动态加载又对及时性要求很高怎么处理？... 12、分布式爬虫主要解决什么问题？... 13、什么是 URL？... 14、python 爬虫有哪些常用技术？... 15、简单说一下你对 scrapy 的了解？... 16、Scrapy 的优缺点?. 17、scrapy 和 request?. 18、五层...

2019-07-03 17:22:19 15342 4

原创 'scrapyd-deploy' 不是内部或外部命令，也不是可运行的程序或批处理文件

环境：python3.7在部署分布式的时候，安装好scrapyd-client之后，运行scrapyd-deploy出现 “'scrapyd-deploy' 不是内部或外部命令，也不是可运行的程序或批处理文件”错误解决方案：①找到scrapyd-deploy文件，这里每个人配置的pip安装路径不同一般是在你安装脚本的文件夹里，比如我的路径是E:\python_pycha...

2019-06-19 10:08:15 2654

原创 'scrapy' 不是内部或外部命令，也不是可运行的程序或批处理文件。完美解决！！！！

初学scrapy，在命令行下运行scrapy startproject zhihuuser的时候出现'scrapy' 不是内部或外部命令，也不是可运行的程序或批处理文件。碰到这个问题，一般是pip重装或者升级过导致的，这里的解决方案是:先运行pip uninstall scrapy卸载scrapy这里会提示是否继续，输入y然后回车即可接下来重新安装scrapy，pip ins...

2019-06-10 23:31:10 22114 4

原创解决module 'pip' has no attribute 'main'问题

在更新pip之后，遇到报错：module 'pip' has no attribute 'main'尝试了网上的众多方法，最多人说的更改packaging_tool.py里面的do_install(pkgs)和do_uninstall(pkgs)没有解决，然后无论是升级、降级、卸载重装，都没有用于是我用Everything搜索了pip安装的目录site-packages接下来，分别...

2019-05-31 18:49:08 1739

原创 win10下使用docker所遇到的问题汇总，安装scrap-splash

本来是想安装一个scrap-splash，但是书上说通过docker安装，于是几经波折~~从dockerhub上下载docker安装好后，陆陆续续的遇到很多问题，折腾一个上午，现在把问题综合一下①Docker requires Hyper-V to run这个好解决，直接按Enable &Restart按钮就会重启然后自动开启，或者：控制面板 -> ...

2019-05-24 14:42:51 4145 4

原创 pyspider all运行出错：①SyntaxError: invalid syntax，② - Deprecated option 'domaincontroller': use 'http_au

运行环境：win10 64位，python 3.7在安装好pyspider后，运行pyspider all之后出现如下错误：在研究了一个上午之后，集众多网友智慧，这个错误的原因是：python3.7不兼容pyspider问题(出现占用关键字的问题)Python 3.5中引入了async和await，它们在Python 3.7中成为关键字。所以需要替换一下关键字。在C:\U...

2019-04-25 11:03:04 6733 5

原创 Requests库主要方法解析——request函数

（一）request()方法 **kwargs 13个控制访问参数params: 字节或字节序列，作为增加到url中的参数2.data 3.json(http协议最经常使用的数据格式） 4.head（可模拟任何我们想要模拟的浏览器向服务器发起访问）代表了向某url发起访问时的http的头字段定制协议头 5.cookies...

2019-01-24 20:03:54 4822

原创 from…import * 语句与 import 区别

import 模块：导入一个模块；注：相当于导入的是一个文件夹，是个相对路径。 from…import：导入了一个模块中的一个函数；注：相当于导入的是一个文件夹中的文件，是个绝对路径。所以使用上的的区别是当引用文件时是:import 模块.函数from…import 直接使用函数名使用就可以了所以from…import *：是把一个模块中所有函数都导入进来; 注：相当于...

2019-01-24 19:57:34 2747

原创 Session对象------会话维持

Session:在计算机中，尤其是在网络应用中，称为“会话控制”。Session 对象存储特定用户会话所需的属性及配置信息。这样，当用户在应用程序的 Web 页之间跳转时，存储在 Session 对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。当用户请求来自应用程序的 Web 页时，如果该用户还没有会话，则 Web 服务器将自动创建一个 Session 对象。当会话过期或被放弃后，服务器...

2019-01-22 15:16:56 1180

原创 Python 字典 items()方法的简单解析与用法

Python 字典 items() 函数作用：以列表返回可遍历的(键, 值) 元组数组。items()方法语法：dict.items()实例：dict = {'老大':'15岁', '老二':'14岁', '老三':'2岁', '老四':'在墙上' }print(dict.items())for key,va...

2019-01-15 21:25:39 58202 20

转载 python的requests发送/上传多个文件

1、需要的环境Python2.XRequests 库 2、单字段发送单个文件在requests中发送文件的接口只有一种，那就是使用requests.post的files参数，请求形式如下：url = "http://httpbin.org/post"data = Nonefiles = { ... }r = requests.post(url, data, files=...

2019-01-14 22:40:58 4910 2

原创 AttributeError: module 'requests' has no attribute 'get'错误解析

报错原因：文件名和模块名冲突如图所示，看了很久没有发现代码有啥问题，但是就是报错，经排查是因为文件名是requests.py,和import模块导入requests冲突了，系统会认为我们导入的是当前的requests,py，所以产生报错...

2019-01-09 21:43:52 11474 4

原创 python3面向对象名词解析与用法（类、实例、属性、方法、对象）

面向对象名词简介类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。方法：类中定义的函数。类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。数据成员：类变量或者实例变量用于处理类及其实例对象的相关的数据。方法重写：如果从父类继承的方法不能满足子类的需求，...

2019-01-04 17:10:44 4857

原创 phthon isinstance()函数

描述isinstance() 函数来判断一个对象是否是一个已知的类型，类似 type()。instance：实例；例子；实体；比方isinstance() 与 type() 区别： type() 不会认为子类是一种父类类型，不考虑继承关系。 isinstance() 会认为子类是一种父类类型，考虑继承关系。如果要判断两个类型是否相同推荐使用 isinstance()...

2018-12-26 22:04:20 4358

原创 datetime函数和random.seed()函数的应用

一，datetime在python中datetime是一个库是一个模块也是一个函数，作用很多，这里面只对其做简单的最常用的讲解。首先返回系统时间import datetimenowTime=datetime.datetime.now()print nowTime输出结果是： 2016-11-04 14:27:09.538000返回当天日期Today=datetime...

2018-10-24 16:57:17 5152

原创 mysql常用命令与操作

1、连接Mysql格式： mysql -h主机地址 -u用户名－p用户密码1、连接到本机上的MYSQL。首先打开DOS窗口，然后进入目录mysql\bin，再键入命令mysql -u root -p，回车后提示你输密码.注意用户名前可以有空格也可以没有空格，但是密码前必须没有空格，否则让你重新输入密码。如果刚安装好MYSQL，超级用户root是没有密码的，故直接回车即可进入到MYSQL中...

2018-10-08 14:00:50 4384

原创 Python使用MySQL数据库，每行代码段注释

1插入数据： import pymysql.cursors# 连接MySQL数据库connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='198876', db='guest', charset='utf8mb4', c...

2018-09-26 17:53:52 4772

原创 Python整合MySQL出现AttributeError: module 'socket' has no attribute 'AF_UNIX'

运行环境1、pycharm3.62、MySQL 8.0.12首先是按照书本上的操作输入代码（123456为我的密码，按实际填写）import pymysqlconn = pymysql.connect(host='127.0.0.1', unix_socket='/tmp/mysql.sock',user='root', passw...

2018-09-18 14:21:18 10202 3

原创 python3的urlretrieve（）方法的作用与使用（入门）

python3中urllib.request模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。urlretrieve(url, filename=None, reporthook=None, data=None)参数url：下载链接地址参数filename：指定了保存本地路径（如果参数未指定，urllib会生成一个临时文件保存数据。） ...

2018-08-30 15:52:02 83556 4

转载 Python3网络爬虫使用User Agent和代理IP隐藏身份

运行平台：Windows Python版本：Python3.x IDE：PyCharm3.6转载自：http://blog.csdn.net/c406495762/article/details/60137956作者：Jack-Cui一、为何要设置User Agent 有一些网站不喜欢被爬虫程序访问，所以会检测连接对象，如果是爬虫程序，也就是非人点击访问，它就会不让你继续访问...

2018-08-30 11:23:44 5047

原创 python3中的os.path.dirname(file)的使用

os.path.dirname(__file__)的作用是返回脚本的路径，即文件路径中所在的目录（不包含文件名），如下：import ospath = os.path.dirname('D:\test\t.py')print(path)结果： D:\testProcess finished with exit code 0注意事项：在运行的时候如果输入完整的执行的...

2018-08-30 10:23:53 13178

原创 python 中os模块os.path.exists()含义

os即operating system（操作系统），Python 的 os 模块封装了常见的文件和目录操作。os.path模块主要用于文件的属性获取,exists是“存在”的意思，所以顾名思义，os.path.exists()就是判断括号里的文件是否存在的意思，括号内的可以是文件路径。举个栗子：user.py为存在于当前目录的一个文件输入代码：import ospath ...

2018-08-30 09:31:38 223078 8

u012424313的博客