2018年11月_工匠小能手

原创【python爬虫】安装python 3.7+selenium 3.7网页自动化测试的环境

核心参考文献：https://blog.csdn.net/tyx199397/article/details/79268111https://blog.csdn.net/u013250071/article/details/78803230https://www.cnblogs.com/sandysun/p/7838113.html手动安装如下软件版本：python 3.7.1 ...

2018-11-26 23:36:40 2337

原创【mysql数据库】通过python 3.7 爬虫获取企查查公开的企业信息，并记录到数据库

1、爬虫的思路参考这篇博文https://mp.csdn.net/postedit/836285872、数据库保存截图如下3、python代码如下#!/usr/bin/python3#-*- coding: utf-8 -*-import urllib.requestimport reimport pymysql#记录公司信息的字典，类似C语言的结构体#字典中...

2018-11-26 01:08:19 8389 9

原创【mysql数据库】通过python 3.7 爬虫获取重庆智博会上重庆本地的参会企业，并记录到mysql数据库中

1、爬虫思路参考这篇博文https://blog.csdn.net/qq_39295735/article/details/835398532、数据库保存结果如下(篇幅有限，仅部分截图)3、python代码如下#!/usr/bin/python3#-*- coding: utf-8 -*-import urllib.requestimport reimport pymy...

2018-11-25 17:50:49 293

原创【mysql数据库】python 3.7 脚本执行SQL语句，关于字符串变量的注意事项

转载一篇网友介绍Python 数据库的Connection、Cursor两大对象，写的非常好。https://blog.csdn.net/guofeng93/article/details/53994112最新在使用python操作数据库，发现使用cursor.execute执行mysql数据时，字符串变量的规范用法，总结如下。1、字符串变量与SQL语句在同一个表达式中时，通配符使用 '%s...

2018-11-25 12:39:37 2284

原创【mysql数据库】通过python 3.7 连接mysql数据库

信息来源：http://www.runoob.com/python3/python3-mysql.htmlhttp://www.runoob.com/python3/python-mysql-connector.html （推荐用这个）在笔记本的命令行种安装PyMySQL插件或python -m pip install mysql-connector或pip3 instal...

2018-11-23 21:12:39 480

原创【mysql数据库】centos6.8上搭建mysql环境，设置字符集支持中文

1.下载并安装 mysql# yum -y install mysql mysql-server # service mysqld start2.重置mysql密码。默认密码为空，直接回车，输入新密码Huawei@123，然后一直yes确认。Mysql5.7默认密码规则要求包含大小字母、数字和特殊字符。#mysql_secure_installation3.登陆mysql，允许外部I...

2018-11-22 23:25:50 343

原创【容灾实战】体验华为云对象存储迁移工具OMS迁移其他云平台上的对象存储文件

【实验目的】据说华为云对象存储OMS服务的复制功能挺牛逼的，能够在线复制其他云上的对象存储文件，体验一下效果如何。对象存储适合存放非结构化数据，如图片、视频、文件等等。用文本文件测试一下效果。【思路】1、在腾讯云对象存储COS上创建一个标准存储桶。2、通过python写一个爬虫脚本，爬取糗事百科网站上第一页的笑话，每个笑话作为一个文件，调用腾讯的SDK接口自动存放到腾讯云对象存储COS...

2018-11-19 22:11:24 1928 1

原创【Python爬虫实战】获取糗事百科上面的笑话并保存至腾讯云对象存储COS中

目的：体验一下腾讯云对象存储COS的SDK开发工具。结果：代码如下：#!/usr/bin/python3#-*- coding: utf-8 -*-#网络爬虫所需的插件import urllib.requestimport re#腾讯云对象存储所需的插件from qcloud_cos import CosConfigfrom qcloud_cos import ...

2018-11-14 23:08:09 404

原创【Python爬虫实战】获取糗事百科上面的笑话

目的：获取糗事百科的笑话，并保存为文件。结果：代码如下：#!/usr/bin/python3#-*- coding: utf-8 -*-import urllib.requestimport re#浏览器伪装池，将爬虫伪装成浏览器，避免被网站屏蔽headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) Appl...

2018-11-14 20:21:44 222

原创【容灾实战】体验华为云主机迁移工具SMS迁移其他云平台上的主机业务

【实验目的】最近发现华为云上新推出一项服务“主机迁移服务”，特体验一下在阿里云上的云主机是不是能够在线复制到华为云的主机上。【思路】1、在阿里云主机上部署一个简单wordpress网址，并发布一篇博客，记录下数据库中的内容。2、验证全量复制功能：使用华为云的“主机迁移服务”，测试将主机内容复制到华为云。验证wordpress是否迁移过来，数据库内容是否也迁移过来。3、验证增量复制功能：...

2018-11-13 22:26:36 2994

原创【测试环境】在公有云上搭建wordpress网址

图文教程：https://edu.aliyun.com/lab/courses/24d0e20f6d794183bce217ba72d34e9e/detail?purchaseRecordId=c9eaa22eeeb84fbcb2e02770df21d882第1小节开通云主机－－－－－－－－－－－－－－－－－－－－－－－－－－使用已测试ok的操作系统centos 6.8，其他版本可能不支...

2018-11-12 16:20:02 1041

原创【Python爬虫实战】查找企业股东有哪些关联公司

【实验目的】分析企业法人还有哪些关联公司，关联公司注册了哪些域名，这些域名是在哪个云平台注册的。【思路】1、对比测试，在不登陆的情况下，“企查查”比“天眼查”能查看到更多的信息。查询企业法人的关联公司，选择用网站“企查查”。本文主要分析这个环节。2、通过企业名，在“企查查”上获取法人的关联公司。然后用所有的关联公司在“站长之家”上查询他们的域名和所使用的云平台。此环节参考：https:/...

2018-11-11 00:27:08 5961 2

原创【Python爬虫实战】查找企业的网站系统部署在哪些云平台上

【实验目的】查询某家企业的有哪些域名，分别是在哪个云平台上注册的，间接分析出该企业的IT信息化系统是和哪个云平台在合作。有了这些信息后，就可以进行市场洞察和针对性选择客户群体了。【爬虫思路】1、通过站长之间的工具"注册人反查"http://whois.chinaz.com/reverse?ddlSearchMode=2，找到该公司名注册了哪些域名，分别是在哪里注册的。2、通过爬虫程...

2018-11-10 20:23:22 1253

陈小超的技术博客