sklsxy-CSDN博客

转载 ps性能打不开的解决方法

可以试一试这个方法1、我们需要用到注册表编辑器，所以先右键开始菜单，打开“运行”，输入“Regedit”，打开“注册表编辑器”。2、依次打开“HKEY_CURRENT_USER\Software\Adobe\Photoshop\120.0”，我们只需要在里面新建一个特定的值，就可以完美解决问题了。3、在120.0注册表文件夹里的空白处，右键新建一个“DWORD（32位）值”，然后将该值...

2019-01-15 11:53:18 5034

原创多表查询优化

多表查询优化（1）基本连接方法（内连接、外连接）：一）内连接：用比较运算符根据每个表共有的列的值匹配两个表中的行（=或>、意思是：检索商品分类和商品表“分类描述”相同的行select        d.Good_ID ,        d.Classify_ID,    &nbs...

2018-10-30 10:55:29 2072

原创优化查询

前言接下来是查询优化，用户80%的操作基本都在查询，我们有什么理由不去优化他呢？？所以我们将会讲解大量的查询优化（索引以及库表结构优化等高级用法后面再讲），先讲单表查优化，再讲多表查优化。明确搜索优化的整体思路以及查询优化的因素搜索优化的整体思路索引优化，查询优化，查询缓存，服务器设置优化，操作系统和硬件优化，应用层面优化（web服务器，缓存）等等。对于一个整体项目而言只有这些齐头并进，才...

2018-10-29 15:07:16 219

前言数据库，后端开发者必学，而且现在以MySQL居多。家下来我们将系统化MySQL一些高级用法。打算先讲很多人关注的使用方式（增删改查以及其优化），然后就讲数据库和表的操作（很多我们学习忽略的地方），接着就是引擎还有更高级的查询等等操作数据语句优化认识：通常情况下，当访问某张表的时候，读取者首先必须获取该表的锁，如果有写入操作到达，那么写入者一直等待读取者完成操作（查询开始之后就不能中断，因...

2018-10-29 14:55:05 272

原创 PEP8规范

PEP8规范（一）代码的编排1、缩进。每行需要4个空格的缩进，不要使用Tap键，更不能混合使用Tap键和空格。2 、每行最大长度79，换行可以使用反斜杠，但最好使用圆括号。换行点要在操作符的后边敲回车。3 、类和top-level函数定义之间空两行；类中的方法定义之间空一行；函数内逻辑无关段落之间空一行；其他地方尽量不要再空行。（二）文档的编排1、模块内容的顺序：模块说明和do...

2018-10-17 10:47:57 627

原创 Centos 7 下部署Django + uWSGI + Nginx

Centos 7 下部署Django + uWSGI + Nginx环境：Python: 3.6Django: 2.1OS: CentOS 7 x86_64uwsgi: 2.0.17安装Python3.6不要删除自带的python2.7，否则会出问题，因为centos许多软件需要依赖系统自带python安装依赖工具 yum install openssl-devel bzi...

2018-10-17 10:06:17 166

原创 scrapy中间件获取动态数据

from scrapy.http.response.html import HtmlResponse from selenium import webdriver from selenium.webdriver.chrome.options import Options #自定义中间件 class CustomMiddleware(object): ...

2018-09-07 22:36:14 397

转载分布式爬虫

修改普通爬虫项目为分布式爬虫1.主爬虫文件myspider.py 做如下修改，其他不做修改： import scrapyfrom ..items import MyItem # 导入数据模型from scrapy_redis.spiders import RedisSpider #导入scrapy_redis模块 # 1.修改scrapy.spider为RedisSpid...

2018-09-05 21:40:37 137

原创 node.js的安装及创建简单工程

window安装node.js简单的说 Node.js 就是运行在服务端的 JavaScript。Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。1.安装包的下载32 位安装包下载地址 : h...

2018-08-29 20:30:18 877

原创获取网页的动态数据并且存储成excel表格形式

动态获取网页数据，今天感觉到经历了无与伦比的绝望来一次记录一下自己的心情，并且写了源码希望大家跳过这个坑这是middlewares.py文件里的代码来请求动态数据并返回给spider文件class SeleniumSpiderMiddlewares(object):#在middlewares.py文件里面插入请求自定义的 def __init__(self): ...

2018-08-10 22:37:55 2867

原创 mysql的下载及安装

1. http://www.mysql.com 在百度上搜索MySQL官网，进入下载页面-->选择社区版（Community）-->选择MySQL Community Server后，点击DOWNLOAD按钮-->Generally Available(GA) Releases进入MySQL下载列表选项。 2.本文我们选择下载安装版（MSI Installer）而...

2018-08-08 23:06:53 625

原创 xpath获取内容的方式

以百度为例：'https://tieba.baidu.com'1.获取最外面标签，遍历内部所有的字标签，获取标签文本content_list =div.xpath('.//div[@class="d_post_content j_d_post_content "]/text()').extract()2.正则去掉所有标签 <.*?> re.compile.sub()...

2018-08-06 09:26:00 19323 1

原创 Scrapy框架的创建

在pycharm里面创建一个文件夹如下图：打开终端创建一个爬虫项目如图示跳转到创建的文件夹在所在的文件夹里创建项目创建项目完成在创建爬虫程序在创建前的scrapy的里面的关键参数创建后的比创建前的参数多请求数据 scrapy crawl sxyspider最后获取程序内容...

2018-08-01 22:57:07 289

原创 selenium按键操作

前几天发过selenium的安装过程今天来说一下，按键操作代码如下：引入模块from selenium.webdriver.common.keys import Keysfrom selenium import webdirverimport time使用火狐浏览器，使用百度浏览器driver=webdriver.Firefox()driver.get(''http...

2018-08-01 20:51:40 1103

原创 Scrapy的安装

python3 scrapy框架的安装说着简单实际上出错容易第一要考略最简便的两种方法 1.pip install scrapy 2.conda install scrapy 1、直接使用pip install scrapy安装不成功可以安装whl格式的包首先下载scrapy的whl...

2018-08-01 20:38:03 309

原创正则 bs4 xpath的数据请求方式和获取数据方式

（一）BeautifulSoup从本心来说，我更喜欢用BeautifulSoup。因为它更符合直观语义特性，find（）和find_all（）函数已经基本上足够提取出任何的信息，对于身份证号、QQ号等特征特别明显的数据，顶多再加上一个正则表达式就完全OK了。Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用...

2018-08-01 19:35:45 432

原创初识selenium

selenium 硒selenium是一个自动化测试工具测试-----岗位手动测试自动测试白盒测试黑盒测试在python中的应用为：1.selenium 可以完全模拟浏览器操作，对动态数据进行获取动态数据由代码生成，子页面初始化的过程中是没有的也是无法获取的，但是可以通过selenium来进行获取的2.有些数据是需要进行登录以后才能进行获取的，比如好友列表，评论，消费记录.....

2018-07-31 20:35:58 166

原创 Firefox浏览器驱动GeckoDriver安装方法

python中常用selenium爬取动态渲染网页，这个过程之中需要安装浏览器驱动，这次以Firefox（火狐）浏览器为例，安装其驱动Geckodriv 下载地址：https://github.com/mozilla/geckodriver/releases 要选择下面的·内容要输入图片上面的地址最后下载到压缩包解压放在桌面上面：如下图这两个文件...

2018-07-30 19:15:17 9174 1

sklsklsklsxy的博客