- 博客(116)
- 收藏
- 关注
RSS订阅原创 INFO-SPIDER —— 集众多数据源于一身的爬虫工具箱
场景一小明一如往常打开 Chrome 浏览器逛着论坛，贴吧，一不小心点开了网页上的广告，跳转到了京东商城，下意识去关闭窗口时发现 （OS：咦？京东怎么知道我最近心心念念的宝贝呢？刚好我正需要呢！），既然打开了那就看看商品详情吧 （OS：哎哟不错哦），那就下单试试吧！场景二小白听着网易云音乐的每日推荐歌单无法自拔 （OS：哇！怎么播放列表里都是我喜欢的音乐风格？网易云音乐太棒了吧!深得我心啊！黑胶会员必须来一个！），逛着知乎里的“如何优雅的XXX?”，“XXX是怎样一种体验？”，“如何评价XXX?” （
2020-08-22 11:23:37
1400
4
原创 GIT 检查、撤销修改简明教程
说明：本教程的所有操作都在master分支上，且仅用于个人代码仓库管理，操作的实用性有待研究。4个区5种状态未修改（Origin）已修改（Modified）已暂存（Staged）已提交（Committed）已推送（Pushed）检查修改已修改，未暂存（检查工作区与暂存区间的差异）git diff已暂存，未提交（检查暂存区与本地仓库间的差异）git diff --cached已提交
2017-12-15 09:11:37
941
原创 MemCache 入门极简教程
MemCache 概述 MemCache虽然被称为”分布式缓存”，但是MemCache本身完全不具备分布式的功能Memcache 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。 MemCaChe是一个存储键值对的HashMap，在内存中对任意的数据（比如字符串、对象等）所使用的key-va
2017-11-21 14:01:22
24442
2
原创 Python操作MongoDB - 极简教程
Python 连接 MongoDB安装PyMongo模块pip install pymongo使用MongoClient建立连接from pymongo import MongoClient# 以下为三种建立连接的方式#client = MongoClient()#client = MongoClient('localhost', 27017)#client = MongoClient('m
2017-11-21 14:00:00
576
原创 Windowns、Ubuntu17.10 下安装 MongoDB - [图文并茂]
Windows 下安装 MongoDBMongoDB 安装包下载点击下载 Windowns 平台： MongoDB 安装包MongoDB 下载中心MongoDB 安装运行安装包，单击Next选择安装路径单击Next，完成安装安装完成后，进入到安装目录下的/bin目录，能看到很多exe程序然后在/bin的同级目录下新建/data文件夹(用于存放数据和日志)，在/data目录下分别新建两个文件夹
2017-11-21 13:57:01
982
原创 MongoDB 入门极简教程
安装 MongoDBWindowns、Ubuntu17.10 下安装 MongoDB教程在此MongoDB 帮助要想获取命令列表，在 mongodb 客户端中输入 db.help()：> db.help()MongoDB 统计信息要想获取 MongoDB 服务器的统计信息，在 mongodb 客户端中输入 db.stat()：> db.stats()创建数据库use 命令MongoDB 用 us
2017-11-21 13:51:59
487
原创 手把手教你用7行代码实现微信聊天机器人 -- Python wxpy
环境要求：Windows / Linux / Mac OSPython 3.4-3.6，以及 2.7 版本wxpy安装## 使用国内源安装速度快pip install -U wxpy -i "https://pypi.doubanio.com/simple/"实例让机器人与所有好友聊天from wxpy import *# 实例化，并登录微信bot = Bot(cache_path=Tr
2017-11-21 13:50:06
803
原创 手把手教你用1行代码实现人脸识别 -- Python Face_recognition
环境要求：Ubuntu17.10 Python 2.7.14环境搭建：1. 安装 Ubuntu17.10 > 安装步骤在这里2. 安装 Python2.7.14 (Ubuntu17.10 默认Python版本为2.7.14)3. 安装 git 、cmake 、 python-pip# 安装 git$ sudo apt-get install -y git# 安装 cmake$ sudo
2017-11-21 13:47:57
7562
3
原创 Python爬虫-爬取 ygdy8.com 站点的所有电影并写入文件和数据库
项目代码地址: ===欢迎fork 、star ===https://github.com/kangvcar/pyproject/blob/master/Spiders/Spider_ygdy8.py
2017-10-17 09:28:20
10908
原创 Python爬虫-爬取xixizhan.com站点的所有电影列表并写入文件和数据库mysql
项目代码地址: ===欢迎fork 、star ===https://github.com/kangvcar/pyproject/blob/master/Spiders/Spider_xixizhan.py
2017-10-17 09:25:45
4055
原创 Python爬虫-爬取集思录的金融信息,并写入文件和检测数据变化发送邮件通知
项目代码地址: ===欢迎fork 、star ===https://github.com/kangvcar/pyproject/blob/master/Spiders/Spider_jisilu_4.py
2017-10-17 09:19:36
7854
原创 Python爬虫-爬取51job.com 招聘信息并写入文件和数据库mysql
项目代码地址:https://github.com/kangvcar/pyproject/blob/master/Spiders/Spider_51Job.py
2017-10-17 09:10:43
3774
原创 XPath 用法和实例
Usage_XPath#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 20:51:15# @Author : kangvcar (kangvcar@126.com)# @Link : http://www.github.com/kangvcar/# @Version : $Id$
2017-09-25 15:38:37
2421
原创 Urllib2 用法和实例
Usage_Urllib2# -*- coding: utf-8 -*-import urllibimport urllib2# 使用urllib2 获取网页源码方法一：# url = 'http://www.baidu.com/'# response = urllib2.urlopen(url)# html = response.read()# print
2017-09-25 15:38:05
2677
原创 Selenium 用法和实例
Usage_Selenium#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 22:04:33# @Author : kangvcar (kangvcar@126.com)# @Link : http://www.github.com/kangvcar/# @Version : $
2017-09-25 15:37:35
2602
原创 Requests 用法和实例
Usage_Requests#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 21:21:04# @Author : kangvcar (kangvcar@126.com)# @Link : http://www.github.com/kangvcar/# @Version : $
2017-09-25 15:36:57
2470
原创 PyQuery 用法和实例
Usage_PyQuery#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-25 11:08:58# @Author : kangvcar (kangvcar@126.com)# @Link : http://www.github.com/kangvcar/# @Version : $I
2017-09-25 15:36:16
2566
原创 BeautifulSoup_find_ 用法和实例
Usage_BeautifulSoup_find_* 函数的使用#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 17:27:33# @Author : kangvcar (kangvcar@126.com)# @Link : http://www.github.com/kangvca
2017-09-25 15:35:17
5015
原创 BeautifulSoup_CSS_Select 用法和实例
Usage_BeautifulSoup_CSS_Select#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 18:50:21# @Author : kangvcar (kangvcar@126.com)# @Link : http://www.github.com/kangvcar/
2017-09-25 15:34:23
3079
原创 BeautifulSoup 用法和实例
Usage_BeautifulSoup#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 15:45:17# @Author : kangvcar (kangvcar@126.com)# @Link : http://www.github.com/kangvcar/# @Versio
2017-09-25 15:32:14
2650
原创 关于Linux上SAMBA服务的权限问题(多用户挂载)
简介：本文探讨关于Samba服务在客户端进行多用户挂载的问题,以及对cifscreds命令的使用效果.安装配置：(服务器配置要求如下,配置过程在本博客中,本文省略配置过程)在客户端desktop0配置进行多用户挂载：1.安装cifs-utils软件包以支持samba的挂载(否则即使挂载没有报错也无法正常使用)[root@desktop0 ~]# yu
2017-07-25 18:38:10
14321
原创 关于Linux上SAMBA服务的权限问题(普通挂载)
简介:Samba服务用于在不同平台(windows,linux)之间共享文件和打印机等。注：本文不讨论multiuser多用户挂载的情况安装配置：(在服务器节点server0配置，在客户端节点desktop0验证)1.server0节点安装samba(服务主程序)和samba-client(提供smbpasswd用户管理工具)[root@server0 ~]# yum
2017-07-25 12:01:17
23326
1
转载 数据库中的约束和三大范式
一.数据库中的范式： 范式， 英文名称是 Normal Form，它是英国人 E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法，以下就是对这三个范式的基本介绍：第一范式（1NF）： 数据表中的每一列(字段)，必须是不可拆分的最小单元，也就是确保每一列的原子性。
2017-07-06 19:03:36
586
原创 Docker 搭建WordPress
1.首先下载mysql镜像和wordpress镜像[root@kangvcar ~]# docker pull hub.c.163.com/library/mysql:latest[root@kangvcar ~]# docker pull hub.c.163.com/library/wordpress:latest2.查看本地镜像列表[root@kangvcar ~]# docker image
2017-06-20 13:56:44
3657
原创 Docker 网络之端口绑定
外部访问容器 容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过 -P 或 -p 参数来指定端口映射。 -P 标记时 Docker 会随机映射一个 49000~49900 的端口到内部容器开放的网络端口。 -p 标记时 则可以指定要映射的端口，并且，在一个指定端口上只可以绑定一个容器。支持的格式有 ip:hostPort:containerPort ip
2017-06-20 13:25:54
11128
1
原创 Docker 数据管理
在容器中管理数据主要有两种方式数据卷（Data volumes）数据卷容器（Data volume containers）数据卷 数据卷是一个可供一个或多个容器使用的特殊目录，它绕过 UFS，可以提供很多有用的特性： - 数据卷可以在容器之间共享和重用 - 对数据卷的修改会立马生效 - 对数据卷的更新，不会影响镜像 - 卷会一直存在，直到没有容器使用创建一个数据卷
2017-06-20 13:14:43
1918
原创 Docker 容器管理
启动容器有两种方式，一种是基于镜像新建一个容器并启动，另外一个是将在终止状态（stopped）的容器重新启动。新建并启动 docker run启动过程理解当利用 docker run 来创建容器时，Docker 在后台运行的标准操作包括： 1. 检查本地是否存在指定的镜像，不存在就从公有仓库下载 2. 利用镜像创建并启动一个容器 3. 分配一个文件系统，并在只读的镜像层外面挂载一层可读写层
2017-06-20 12:59:15
1992
原创 Dockerfile 文件详解
使用 Dockerfile 可以允许用户创建自定义的镜像。 基本结构 一般的，Dockerfile 分为四部分：基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令。FROM格式为FROM <image> 或 FROM <image>:<tag> 第一条指令必须为 FROM 指令。并且，如果在同一个Dockerfile中创建多个镜像时，可以使用多个 FROM指令（每个镜像
2017-06-20 12:00:46
3189
原创 Docker导入导出镜像
从本地文件系统导入镜像 tar格式镜像包下载地址：http://openvz.org/Download/templates/precreated比如，先下载了一个 ubuntu-14.04 的镜像，之后使用以下命令导入：# cat ubuntu-14.04-x86_64-minimal.tar.gz |docker import - ubuntu:14.04然后查看新导入的镜像# docker
2017-06-20 11:45:55
8110
原创 Docker创建镜像
创建镜像有很多方法，用户可以从 Docker Hub 获取已有镜像并更新，也可以利用本地文件系统创建一个修改已有镜像利用 Dockerfile 来创建镜像Dockerfile 编写
2017-06-20 11:31:39
2357
原创 Docker获取镜像
1.获取镜像2.查看本地镜像[root@kangvcar ~]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZElocal/centos kangvcar 3
2017-06-20 11:15:57
3037
原创 CentOS配置本地yum源/阿里云yum源/163yuan源，并配置yum源的优先级
一、用Centos镜像搭建本地yum源二、把默认的CentOS yum源修改成国内的aliyun yum源三、把默认的CentOS yum源修改成国内的163源四、修改yum源的优先级
2017-06-19 22:21:25
83767
4
原创 Linux总结笔记11-搭建ISCSI网络存储
一.配置ISCSI服务端(target)1.在iscsi服务端添加硬盘，然后配置成RAID 注：也可以直接硬盘共享，不用做成RAID[root@linux1 ~]# mdadm -Cv /dev/md0 -n 3 -l 5 -x 1 /dev/sdb /dev/sdc /dev/sdd /dev/sde//创建RAID5卷，一块硬盘用做备份盘[root@linux1 ~]# mdadm -
2017-05-28 17:22:36
1038
原创 Linux总结笔记10-搭建DHCP服务
1.安装DHCP 服务程序[root@linux1 ~]# yum -y install dhcp2.修改DHCP主配置文件配置文件模版/usr/share/doc/dhcp-4.2.5/dhcpd.conf.example[root@linux1 ~]# cat /etc/dhcp/dhcpd.conf subnet 192.168.100.0 netmask 255.255.255.0 {
2017-05-28 17:18:42
737
原创 Linux总结笔记9-搭建Postfix邮件服务器
1.修改主机名和部署好DNS服务器[root@linux1 ~]# hostnamemail.kangvcar.com[root@linux1 ~]# cat /etc/named.conf //修改/etc/named.conf文件 listen-on port 53 { any; }; allow-query { any; };[root@linu
2017-05-28 17:08:57
6752
原创 Linux总结笔记8-搭建DNS服务器
部署DNS主服务器 1.安装bind服务程序[root@linux1 ~]# yum -y install bind-chroot 2.修改bind的主配置文件[root@linux1 ~]# vim /etc/named.confoptions { listen-on port 53 { any; }; //改为any；在所有网卡上监听dns请求
2017-05-28 17:04:21
830
原创 Linux总结笔记7-配置NFS服务实现Linux间文件共享
搭建NFS服务器 1.安装nfs-utils[root@linux1 ~]# yum -y install nfs-utils 2.创建共享目录，修改目录权限为777 3.在配置文件/etc/exports 里写入需要共享的配置信息如：[root@linux1 ~]# vim /etc/exports/nfsshare 192.168.100.*(rw,sync,
2017-05-28 16:59:40
581
原创 Linux总结笔记6-配置Samba服务实现Linux和Windows之间文件共享
搭建Samba服务器 1.安装samba[root@linux1 ~]# yum -y install samba 2.过滤配置文件的注释信息 （配置文件的注释行太多，配置不方便，但是有配置困难的时候可以回去看看注释说明）[root@linux1 samba]# mv smb.conf smb.conf.bak[root@linux1 samba]# cat smb.conf
2017-05-28 16:56:23
766
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人