ahuangqg03767-CSDN博客

转载 CrawlSpider ---> 通用爬虫项目流程

通用爬虫通用网络爬虫从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。不扯没用的，上干货！创建项目：　　cmd 命令： scrapy startproject 项目名创建　　cmd 命令：scrapy genspider -t crawl 爬...

2019-07-04 19:43:00 185

转载 linux 、 CentOs ---> 环境变量设置

Linux下环境变量设置1、在Windows 系统下，很多软件安装都需要配置环境变量，比如安装 jdk ，如果不配置环境变量，在非软件安装的目录下运行javac 命令，将会报告找不到文件，类似的错误。2、那么什么是环境变量？简单说，就是指定一个目录，运行软件的时候，相关的程序将会按照该目录寻找相关文件。设置变量对于一般人最实用的功能就是：不用拷贝某些dll文件到系统目录...

2019-07-04 15:47:00 138

转载 Mongo db 简单介绍及命令笔记

首先来了解下什么是MongoDB ?MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字...

2019-07-03 10:42:00 239

转载 scrapy爬虫框架配置--settings

我们可以用一个settings.py做个简单的介绍和解析：例： ----># -*- coding: utf-8 -*-# Scrapy settings for xigua project## For simplicity, this file contains only settings considered important or# commonly used. You c...

2019-07-03 08:31:00 230

转载 redis 数据操作

redis定义：redis是开源的，内存数据库，可以用于数据库缓存和消息中间件，支持多种数据类型，字符串，哈希，列表，集合，有序集合等本地启动 - 常用命令redis-cliredis-server.exe # 带样式前提你装了/etc/init.d/redis-server stop ---> 停止...

2019-07-02 20:37:00 127

转载机器学习三剑客之 pandas + numpy

机器学习什么是机器学习？机器学习是从数据中自动分析获得规律(模型)，并利用规律对未知数据进行预测机器学习存在的目的和价值领域？领域：医疗、航空、教育、物流、电商等。。。目的：让机器学习程序替换手动的步骤，减少企业的成本也提高企业的效率jupyter lab语法使用jupyter ...

2019-07-02 10:14:00 326

转载爬虫部署 --- scrapyd部署爬虫 + Gerapy 管理界面 scrapyd+gerapy部署流程

---------scrapyd部署爬虫---------------1.编写爬虫2.部署环境pip install scrapyd pip install scrapyd-client 启动scrapyd的服务：cmd:>scrapyd（必须处于开启状态）在爬虫根目录执行：scrapyd-deploy,如果提示不是内部命令，需要修改配置文件。3.发布工程到scrapyd修改s...

2019-07-02 10:05:00 303

转载 MySQL忘记root密码解决方法

1，首先停止MYSQL服务，CMD打开DOS窗口，输入 net stop mysql2，然后在CMD命令行窗口，进入MYSQL安装目录比如E:\Program Files\MySQL\MySQL Server 5.0\bin示范命令:输入 e:回车,输入cd “E:\Program Files\MySQL\MySQL Server 5.0\bin”注意双引号也要输入...

2019-06-28 08:05:00 85

转载各位大佬Python的第一部分道基础题已经整理好了，希望大家面试的时候能用的上。...

Python的第一部分道基础题，希望大家面试的时候能用的上。1、为什么学习Python？　Python是目前市面上，我个人认为是最简洁、最优雅、最有前途、最全能的编程语言，没有之一。2、通过什么途径学习的Python？通过自学，包括网上查看一些视频，购买一些相关专业的书籍。3、Python和Java、PHP、C、C#、C++等其他语言相比？...

2019-06-20 08:12:00 631

转载 CentOs Linux 对于编辑文本内容时无法退出的几个小命令

编辑完保存退出的四种方式 1. Esc+：+wq+回车（w是write,q是quit） 2. Esc+：+x+回车（x=wq） 3. Esc+shift+zz 4. Esc+ZZ(在大写开启下)转载于:https://www.cnblogs.com/canhun/p/11056429.html...

2019-06-20 08:09:00 1221

转载全文检索部署及使用

全文检索全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理haystack：django的一个包，可以方便地对model里面的内容进行索引、搜索，设计为支持whoosh,solr,Xapian,Elasticsearc四种全文检索引擎后端，属于一种全文检索的框架whoosh：纯Python编写的全文搜索引擎，虽然性能比不上sphinx、...

2019-06-20 08:03:00 175

转载 CentOs Linux 对于修改 yum源为阿里

修改yum源为阿里备份本地yum源　　　　mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo_bak 　　2.获取阿里yum源配置文件　　　　将https://mirrors.tuna.tsinghua.edu.cn/help/centos/ 中的内容粘贴到 C...

2019-06-20 08:01:00 80

转载 CentOs Linux 对于Django uwsgi + Nginx 的安装与部署

Django Nginx+uWSGI 安装配置链接：????https://www.runoob.com/django/django-nginx-uwsgi.htmlyum updateyum install gcc pip install uwsgi查看uwsgi动态链接库是否有问题：which uwsgildd /root/anaconda3/bi...

2019-06-20 07:58:00 87

转载 Django 语法笔记

Django 语法创建项目框架django-admin startproject 项目名创建子app业务分化，可以优化团队合作，可以明确找锅python manage.py startapp 子app名启动项目python manage.py runserver项目目录结构__init__.py: 声明当...

2019-06-02 19:55:00 152

转载 mysql 数据库常见的一些基本操作！详不详细你说了算！

在日常应用中可能一时想不起来，所以有必要整理一份指令相关的笔记，以是个人比较满意，也比较全面的一份笔记，希望能帮到你，适用初级小白，大神可略过！MYSQL常用命令：数据备份与还原·注意：不要打分号，不登陆mysql 直接在cmd下运行1、备份：·mysqldump -uroot -p123 要备份的数据库名>生成的脚本路径2、恢复：·source 脚本文件路径...

2019-04-01 16:19:00 153

转载小白老凯，初出茅庐！请多关照！简单分享一些 mysql 数据库的安装操作！请给为大神雅正！...

　　在我们写代码，存储数据时常常会用到各种数据库，如：mysql、access、sql、server、Oracle等等，在这里就说一下mysql数据库的的操作指令！　　首先我们了解下如何安装mysql数据库：1.下载Mysql,5.7版本，将zip包解压到某个安装目录下面，最好不要放C盘，选择一个容量大的磁盘。下载地址：https://www.mysql.com/downl...

2019-03-26 20:50:00 141

ahuangqg03767的博客