2018年12月_M晨曦启明M

转载经典SQL语句大全

SQL语句参考，包含Access、MySQL 以及 SQL Server 基础创建数据库 CREATE DATABASE database-name 删除数据库 drop database dbname 备份sql server 1, 创建备份数据的 device USE master EXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssq...

2018-12-28 15:56:03 186

原创 python运行出现 ModuleNotFoundError: No module named 'xxx'问题

运行代码时出现如下错误: thread_资源竞争.py E test setup failed file D:\python\Spider\spider复习\Python多线程\thread_资源竞争.py, line 10 def test1(num): E fixture 'num' not found > available fixtures: cache,...

2018-12-25 13:18:19 16085 1

转载 Flask 操作数据库

查询相关语句： @stu.route('/selectstu/') def select_stu(): # 查询年龄小于16岁的学生的信息 # 第一种查询的方式 stus = Student.query.filter(Student.s_age < 16) # 第二种查询的方式 # __lt__表示小于 __le__表示小于等于 stus...

2018-12-25 09:04:52 188

原创解析js代码实现爬取页面所有的ip地址[面试题]

该网页只有在刷新时, 才能显示后面的页面, 且页面会打开新的页面, 跳转时需要的cookies, 由第一个页面的cookies动态生成. 下面是具体代码: import requests import re import lxml.html class ExamSpider(object): def __init__(self): self.base_url = 'ht...

2018-12-24 22:09:23 366

原创用mongodb数据库, 对爬取的页面进行监控(mongo_cache)和数据保存

由于在爬虫时, 可因为各种原因导致爬虫在爬取页面的时候从中间断开连接, 当再次爬取的时候不知道从什么地方开始, 这里利用mongodb封装一个类, 用来监控哪些网页已经爬取过, 哪些没有爬取, 为以后监控提供方便. 创建一个mongo_cache.py的文件, 具体代码如下 import pickle import zlib from datetime import datetime, timed...

2018-12-19 13:20:39 331

原创 selenium模拟 + 鼠标滚动爬取魔方公寓租房评论信息

因为魔方公寓的评论信息是在一个单独的div中, 需要模拟鼠标滚动才能拿到评论信息, 并且每次只能拿到在页面显示的内容, 页面没有显示的取出来的是空. 因此只能在每次滚动后取值保存. 代码: import time import win32api, win32con from win32api import GetSystemMetrics from selenium.webdriver.commo...

2018-12-13 19:53:35 441 1

原创用selenium以外的方法实现爬取海报时尚网热门图片

废话不多说, 直接上代码! ! ! import json import os import time from urllib.request import urlretrieve import requests import datetime import urllib.parse import re """ 接口连接 http://pic.haibao.com/ajax/image:getH...

2018-12-13 14:48:16 265

原创 ubuntu18.04 安装MySQL不出现设置帐户, 密码

最近在ubuntu18.04下安装mysql过程中, 遇到没有象ubuntu16.04下设置账户密码的问题, 但登录的时候又需要输入密码登录, 在网上搜了半天终于找到终于解决了, 在这里说一下流程: 在安装过程中实际是有默认账户密码的…但是默认账户密码比较复杂, 修改流程如下: 1, 查看默认的账户密码 sudo vi /etc/mysql/debian.cnf 找到了，用户名：debian-s...

2018-12-09 18:32:54 451

原创安装 pyspark 出现 "python setup.py egg_info" failed with error code 1 in C:\Users\ZHANGZ~1\...

在安装pyspark时执行pip install pyspark后报如下错误: File “d:\python36\lib\site-packages\setuptools\dist.py”, line 429, in fetch_build_egg return cmd.easy_install(req) File “d:\python36\lib\site-packages\setuptool...

2018-12-07 10:57:16 2349

转载图解十大经典机器学习算法

弱人工智能近几年取得了重大突破，悄然间，已经成为每个人生活中必不可少的一部分。以我们的智能手机为例，看看到底温藏着多少人工智能的神奇魔术。下图是一部典型的智能手机上安装的一些常见应用程序，可能很多人都猜不到，人工智能技术已经是手机上很多应用程序的核心驱动力。图1 智能手机上的相关应用传统的机器学习算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等等。这篇文章将对常用算...

2018-12-06 16:32:52 216

转载机器学习10大经典算法

1、C4.5 机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。从数据产生决策树的机器学习技术叫做决策树学习,&nbsp;通俗说就是决策树。决策树学习也是数据挖...

2018-12-06 16:28:41 565

转载 TCP/IP 协议

转自 https://blog.csdn.net/yulyu/article/details/69062288 1.什么是 TCP/IP? TCP/IP 是一类协议系统，它是用于网络通信的一套协议集合．传统上来说 TCP/IP 被认为是一个四层协议 1) 网络接口层: 主要是指物理层次的一些接口,比如电缆等． 2) 网络层: 提供...

2018-12-06 09:19:54 169

转载 Python中的单例模式的几种实现方式的及优化

单例模式单例模式（Singleton Pattern）是一种常用的软件设计模式，该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中，某个类只能出现一个实例时，单例对象就能派上用场。比如，某个服务器程序的配置信息存放在一个文件中，客户端通过一个 AppConfig 的类来读取配置文件的信息。如果在程序运行期间，有很多地方都需要使用配置文件的内容，也就是说，很多地方都需要创建 AppConfig 对象的实例，这就导致系统中存在多个 AppConfig 的实例对象，而这样会严重浪费内存资源

2018-12-02 17:05:13 168

原创使用scrapy框架,用模拟浏览器的方法爬取京东上面膜信息,并存入mysql,sqlite,mongodb数据库

因为京东的页面是由JavaScript动态加载的所以使用模拟浏览器的方法进行爬取,具体代码如下 : spider.py # -*- coding: utf-8 -*- import scrapy from scrapy import Request from jdpro.items import jdproItem num = 0 class MaskSpider(scrapy.Spider):...

2018-12-02 13:38:53 300

原创 Python实现冒泡排序,选择排序,快速排序

冒泡排序原理 : 冒泡排序（Bubble Sort）也是一种简单直观的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。 def bubble_sort(lst): # 外层循环控制比较多少轮 for i in range(1, len(lst)): ...

2018-12-01 11:37:56 350

qq_42827960的博客