尼古拉斯_Kai

原创 安装VMware15一直提示重启电脑

安装VMware15一直提示重启电脑，最佳解决办法解决办法：Windows+R快捷键打开注册表regedit删除注册表内[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\SessionManager] PendingFileRenameOperations （双击这个文件）把数据数值里面的全部数据下面数值数据全部删除然后关...

原创 arp攻击清理绑定

XP ,win8如果此时掉线PC依然无法ping通网关，则可能为内网问题，请参考如下步骤：1、在掉线PC上MS-DOS窗口通过arp –d清掉当前ARP信息， arp -s来重新绑定网关的ARP。例如arp –s 192.168.1.1 00-23-89-32-35-67（MAC地址为路由器LAN口对应的MAC）。最后在命令提示符下用“arp -a”命令查看下自己所添加的ARP项是否在列表中...

原创 单工，半双工，双工

1. 单工数据传输只支持数据在一个方向上传输；在同一时间只有一方能接受或发送信息，不能实现双向通信，举例：电视，广播。2. 半双工数据传输允许数据在两个方向上传输,但是,在某一时刻,只允许数据在一个方向上传输,它实际上是一种切换方向的单工通信；在同一时间只可以有一方接受或发送信息，可以实现双向通信。举例：对讲机。3. 全双工数据通信允许数据同时在两个方向上传输,因此,全双工通信是两个单工通信方...

原创 k8s docker-k8s kubernetes 令牌生成token

详情请参考 https://github.com/maguowei/k8s-docker-desktop-for-mac这是最新的解决办法 因为我也是百度了一天才找到，上述链接是官方的解决办法，其实最主要的原因还是镜像不行，可以登陆阿里云镜像生成私有的镜像加速器。https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors教程少了...

转载 docker+jenkins 安装教程，安装失败解决方法

1.拉取镜像需要从官网进入：https://jenkins.io/download/命令：docker pull jenkins/jenkins:lts注意查看 docker镜像中，Jenkins版本是否是最新版命令：docker inspect 806f56c844442.创建目录由于防止jenkins中重要文件因为容器损毁或删除导致文件丢失，因此创建文件对外挂载mkdi...

原创 scrapy了解一下，安装图文教程。

scrapyscrapy是一个流行的爬虫框架。架构分层，适合复杂项目并易于扩展。封装异步包，实现并发请求和分布式部署。框架架构介绍引擎（scrapy engine)处理整个系统的数据流，触发事务。调度器（scheduler ）接收引擎发过来的请求，压入队列，去重，决定下一次请求的url。下载器（downloader)根据url请求网页，下载网页原始内容，并将网页内容返回...

原创 nginx反向代理

介绍和作用作用：高并发大量请求时管理请求队列，依次进入gunicorn的进程中，使web服务的性能进一步提高。同时比较擅长直接处理纯静态页面，纯静态页面不必通过django渲染出来。正向和反向代理正向场景：爬虫时的代理ip反向场景：nginx ngrok参考 https://blog.csdn.net/u011456940/article/details/53633991nginx安...

原创 独角兽（gunicorn）

原创 部署文本服务器，安装基础环境和初测项目

镜像的准备工作apt更新源修改源 vim /etc/apt/sources.list更新源 apt-get update升级已安装的包 apt-get upgrade搜索 apt-cache search packagename安装 apt-get install packagenamegitmysql 注意记住密码安全组放通端口修改python软连接初步测试运行（自带...

原创 爬取安居客的信息，并保存到csv文件中。

这里说明下不要用xpath进行爬取，因为会被封。# 引入包import requestsfrom bs4 import BeautifulSoupimport timeimport csv# 定制请求头 换成自己的请求头headers = { 'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:61.0) Ge...

原创 远程连接云服务器

我以阿里云为例管理控制台购买成功后进入管理控制台。管理控制台/云服务器ECS/，选择大区域。可以看到实例。ssh服务器在外地机房中，没有显示器。我们需要远程控制服务器来使用。远程控制协议SSH(Secure Shell)。服务器一般默认安装并启用ssh服务，默认22端口。我们个人电脑通过ssh客户端软件，通过公网ip、22端口、用户名密码(密钥对儿)，就可以远程连接和控制服务器了...

原创 云服务器与虚拟机，购买云服务器

本地虚拟机 VS 云主机vmware workstations ， 性能好、盗版后免费。云主机，域名、独立IP、备案(运营商、zf控制资源，家庭宽带无法开启web服务)。云主机阿里云(国内市场占比第一、产品极度丰富)， 腾讯云(市场占比、技术实力不如阿里云)， 京东云\又拍\淘宝上小厂(稳定性一般)， AmazonAWS(被墙) ， 微软Azure。我们选择阿里云。看看有没有活动，新...

原创 linux基础命令

初识启动终端。 切换[Ctrl]+[Alt]+[F1]～[F6]。简单体验$ touch file#进入一个目录，cd是一个命令$ cd /etc/#查看当前所在目录$ pwd快捷键Tab、ctrl+c、ctrl+z、ctrl+s、 ctrl+z、ctrl+a、e、alt+backspace方向键↑、man用户和权限root最高级 。比win中的adminis...

原创 淘宝商品信息爬取，实现词云，并进行饼状图绘制及效果图

对应json文件地址：https://blog.csdn.net/nicholas_K/article/details/860945301. 获取了淘宝手机商品的评论和追评2. 对淘宝评论进行了词云3. 实现了淘宝手机商品版本的饼状图绘制import jsonimport timeimport pygalimport pymysql.cursorsfrom wordcloud im...

原创 淘宝的商品json文件， 保存电脑是用json后缀保存，文件名要跟代码引用文件名一样

{“rateDetail”: {“rateCount”: {“total”: 92261,“shop”: 0,“picNum”: 23495,“used”: 9203},“rateDanceInfo”: {“storeType”: 4,“currentMilles”: 1546763396839,“showChooseTopic”: false,“intervalMille...

原创 百度地图api接口

具体代码如下，可以自己更改搜索的内容。query 搜索内容region 地点ak密匙 百度地图可以获取import urllib.requestimport urllib.parseimport json# http://api.map.baidu.com/place/v2/search?query=ATM机&tag=银行&region=北京&output...

原创 爬取网易新闻头条部分信息

代码如下可以自己更改爬取的信息import requestsfrom lxml import etreeurl = 'https://news.163.com'resp = requests.get(url)if resp.status_code != 200: raise Exception("请求失败")html_content = resp.textpattern...

原创 Python爬取天堂网图片

运行代码后 看到生成了一个文件夹，储存的有照片# coding=utf-8# 上节代码追加需求：同一图集图片放入同一文件夹下。import requestsfrom lxml import etreeimport os# 风景分类下# url_list = []# for i in range(2, 71):# url = f'http://www.ivsky.com/...

原创 Python实现京东登录，类封装

# 引入包import timeimport requestsfrom bs4 import BeautifulSoupclass JD_crawl: def __init__(self, username, password): self.headers = { 'User-Agent': 'Mozilla/5....

原创 MongoDB配置及解答mongodb cmd中安装及连接数据库 mongodb无法安装及连接数据库解答

mongodb介绍mongodb是一个流行的nosql数据库，not only sql，介于非关系型和关系型数据库之间。比sqlite重，比mysql轻。入门单独低但教程较少，个人程序员和创业公司用的多点。优点：读性能高。数据存储在内存中，通过一定策略定期持久化到硬盘。在内存中操作，读操作性能高。存储结构简单。键值对、字典结构直接存。开发效率高。可扩展性强，灵活缺点：内存开销昂...

原创 python学生管理系统连接数据库版，很详细，这个是用函数版的增删改查，拿去用，不谢。

# coding: utf-8import sqlite3# 导入数据库def connect_sql(): connect = sqlite3.connect("test_sqlite.db") cursor = connect.cursor() cursor.execute(""" CREATE TABLE studentsab51( id IN...

原创 京东双十一

创造出来的购物节销售数据年年“创纪录”淘宝诞生于2003年，天猫双十一则开始于2009年的11月11日。由于日期是“1”的重复，这一天又被称为“光棍节”，因此推出了全场半价包邮活动，让“单身狗们”一次买个够。不料一经推出，就火爆了中国，引发了全民购物狂欢，销售数据更是年年刷新纪录。根据公开报道整理，2009年的第一个双十一，参与的商家较少，仅有27家品牌，销售额为5000万元，是平时的十倍。而...

原创 数据库介绍常用数据库，SQL增删改查

引题为什么使用数据库：之前的学习中我们已经可以储存数据、变量、读写本地文件（txt、csv）1.持久化。内存中的变量当程序重启和电脑断电时丢失数据，而硬盘可以长时间、持久的储存数据。数据储存到硬盘上的过程叫持久化。2.数据库更加专业强大。远比纯文本文档、excel表格强大，增删改查和统计函数。数据库基本概念观察表格、excel表格，打开了 学生列表.xls excel表格文档。类比引...

原创 python 虚拟环境配置及pypi包使用及包怎么

python虚拟解释器环境。场景：公司不同时期的多个开发项目，使用的python大版本和各个包的版本不尽相同。每个项目要求有一套让自己成功运行的解释器。一个程序员可能同时开发多个项目。电脑上需要有多套python解释器跟项目一一对应。解决方案： 我们电脑上只有一套python解释器，已它为基础，虚拟出来几个解释器的备份。老的教材中先安装virtuaienv（虚拟environment环境）...

原创 pip安装及pip安装慢的原因

pip安装及pip安装慢的原因。pip ：python install package ，python三方包包管理工具。安装python解释器时已自带。目录已添加到环境变量中。包管理工具：包是别人写好的代码。经常有这种情况 ，比如爬虫框架功能的A包，里面引用了负责解析网页的B包，B包引用了更加基础底层的C包。包关系成树状引用。B包依赖C包。直接使用A包，运行报错缺少B包，缺少依赖包。为了解...

原创 python列表的方法详解

列表引题原来学过数据类型如 a=1 b=‘hello’ ,但是这些都变量。现实生活中我们想表达 一个班的几十个学生，一个袋子里多个水果。python当中提供了一个表达“一组”概念的数据结构，列表。语法列表形如 [1,2,3,4] ['小明', '小红', '小王']中括号括起来，里面有多个元素（项），项可以数字、字符串、布尔，每一项逗号分隔。创建声明变量时 中括号、项 ，创建一个...

原创 python解释器安装，图文详解

Python 解释器安装— 安装pycharm般集成开发工具（IDE）integrate developer kit 是 集成多个功能的开发工具软件。轻量级的开发工具：sublime重型级开发工具：pycharm eclipse vscodepycharm优点: 集成各种工具 代码智能提示。下载pucharm1 下载 从python官网 https://www.pytho...