2017年11月_蓝鲸123

12月 11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

原创 Python 3.6 模块安装“error: Microsoft Visual C++ 14.0 is required...”问题解决

今天在Python 3.6环境安装pip install scrapy 遇到下面错误：解决办法： 1. 安装wheel pip install wheel2. https://www.lfd.uci.edu/~gohlke/pythonlibs/页面下载所需的模块的whl文件，下载后进入存储该文件的路径。按照方法一，执行“pip install Twisted-17.9.0-cp36-c

2017-11-30 13:27:31 1367

原创 scrapy 解析文档

scrapy类的实现位于scrapy.selector 模块from scrapy.selector import Seletorseletor=Seletor(response=response)seletor_list=seletor.xpath("//h1") #选中文档中所有的h1for sel in seletor_list: print sel.xpath('./text()'

2017-11-30 08:07:57 537

原创 scrapy 报错 no module named win32api 的解决方案

不能使用pip直接安装win32api解决方案：原因是缺少win32,到 http://sourceforge.net/projects/pywin32/files/ 找到对应的版本进行下载，直接安装即可

2017-11-29 23:40:18 286

原创 scrapy安装

第一：使用pip 安装pip install scrapy为了确认scrapy安装成功 import scrapy scrapy.version_info编写第一个scrapy爬虫有专门共初爬者训练的爬虫技术的网站： http://books.toscrape.com首先需要创建 Scrapy 项目，在shell中使用 scrapy startprojectscrapy startproje

2017-11-29 22:33:42 344

原创偏函数

node里面的偏函数在node里面如果我们定义每一种类型判断的函数则如果定义的类型过多的话，就会使得代码显得过于冗余，在这里我们定义偏函数：var toString=Object.String.toString；var isType(type){ return function(obj) { return toString.call(obj)=='[ object

2017-11-28 19:01:42 396

原创高阶函数式编程

高阶函数式编程在javascript里面比比皆是，比如数组中常用的一些方法： forEach()map()reduce()reduceRight()filter()every()some()

2017-11-28 18:54:35 419

原创 NodeJs

阿里巴巴的数据平台使用NodeJS，阿里巴巴开发了中间层的应用NodeFox,ITier，将数据库群进行了划分和映射。能实现对多台的Mysql 数据库的访问查询，就如同一台Mysql一样。一. 前后端语言框架的统一雅虎开放了Cocktail框架，使用者摆脱了一边写Javascript一边写php所带来的上下文交换的负担。二. Node带来的高性能IO用于实时的应用。Voxer将Node应用

2017-11-27 10:55:01 446

原创 windows 操作环境下搭建NodeJS开发环境

第一步：下载安装文件下载nodejs，官网：http://nodejs.org/download/ 你可以根据不同平台系统选择你需要的Node.js安装包。 Node.js 历史版本下载地址：https://nodejs.org/dist/ 我这里下载的是node-v4.5.15-x64.msi 第二步：安装nodejs 下载完成之后，双击”node-v4.5.15-x64.msi

2017-11-25 17:03:04 6241 1

原创 ajax在网络断开时，缓存ajax的调用，网络连接时，恢复ajax调用

//定义一个变量，当因为网络连接断开而使得Ajax调用无法立即执行，把Ajax的调用放在stack数组中var stack=[];//定义函数产生ajax调用function ajax(url,callback){ //利用XMLHttpRequest类使得可以在浏览器中产生Ajax请求 var xhr=new XMLHttpRequest(), LOADED_STATE

2017-11-25 14:06:51 1736

原创 theano 安装graphviz

直接使用 pip install 安装pydot、graphviz 会报错。1 . 在http://www.graphviz.org/Download.php 下载安装graphviz。把graphviz下面的bin路径添加到系统环境变量的PATH下面。2 . 然后使用 pip install pydot,graphviz如果安装完后仍然报错，需要重启电脑就ok了。实例：#coding:utf-

2017-11-20 17:29:01 280

原创 Self Organizing Maps 自映射人工神经网络

原文地址：Self Organizing Maps作者：shiqj1980 the ebook: http://davis.wpi.edu/~matt/courses/soms/ using som in excel:http://www.geocities.com/adotsaha/NN/SOMinExcel.html人工神经网络技术在模式识别方面有着独特的优势，神经网络能够进行非线性数据处理

2017-11-20 13:50:35 2104

原创 Python strip()方法：移除头尾字符

描述 Python strip() 方法用于移除字符串头尾指定的字符（默认为空格）。语法 strip()方法语法：str.strip([chars]);参数 chars – 移除字符串头尾指定的字符。返回值返回移除字符串头尾指定的字符生成的新字符串。只移除字符串头尾指定的字符，中间部分不会移除。实例str = "0000000this is string example....wow!

2017-11-20 13:43:16 17895 1

原创 python循环遍历字典元素

一个简单的for语句就能循环字典的所有键，就像处理序列一样：　d = {'x':1, 'y':2, 'z':3}for key in d: print key, 'corresponds to', d[key]结果：y corresponds to 2x corresponds to 1z corresponds to 3　在python2.2之前，还只能用beys等字典方法来获取键（

2017-11-20 13:38:11 1491

原创解决Python2.7的UnicodeEncodeError: ‘ascii‘codec can’t encode异常错误

代码上面应该没有什么问题，Python使用的是版本2.7，但是在运行的时候出现了异常错误UnicodeEncodeError：UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 0-78: ordinal not in range(128)貌似是因为编码问题：Unicode编码与ASCII编码的不兼容，其实这个P

2017-11-20 13:32:59 1109

原创 Updates were rejected because the tip of your current branch is behind

有如下几种解决方法：1.使用强制push的方法：$ git push -u origin master -f这样会使远程修改丢失，一般是不可取的，尤其是多人协作开发的时候。2.push前先将远程repository修改pull下来$ git pull origin master$ git push -u origin master3.若不想merge远程和本地修改，可以先创建新的分支：$ git b

2017-11-20 13:28:57 465

原创 .Net解析html文档类库HtmlAgilityPack完整使用说明

一个解析html的C#类库HtmlAgilityPack HtmlAgilityPack是一个基于.Net的、第三方免费开源的微型类库，主要用于在服务器端解析html文档（在B/S结构的程序中客户端可以用Javascript、jquery解析html）。截止到本文发表时，HtmlAgilityPack的最新版本为 1.4.6。下载地址：http://htmlagilitypack.codeplex

2017-11-20 13:26:02 1517

原创 Ubuntu 彻底删除 mysql然后重装 mysql

删除 mysqlsudo apt-get autoremove --purge mysql-server-5.0sudo apt-get remove mysql-serversudo apt-get autoremove mysql-serversudo apt-get remove mysql-common //这个很重要上面的其实有一些是多余的。清理残留数据dpkg -l |grep

2017-11-16 21:47:27 364

原创 Linux 服务器如何设置文件和文件夹的读写权限

修改文件可读写属性的方法例如：把index.htm 文件修改为可写可读可执行：chmod 777 index.htm要修改目录下所有文件属性可写可读可执行：chmod 777 *.*该命令中可以使用 * 作为通配符。比如：修改所有htm文件的属性：chmod 777 *.htm修改文件夹属性的方法把目录 /images/small 修改为可写可读可执行：chmod 777 /images/sma

2017-11-16 21:42:20 2735

原创 ubuntu16.0 安装Apache2、mysql、phpmyadmin

安装LAMPLAMP是Linux、Apache、MySql（MariaDB）、PHP（Python、Perl）等软件的合称。我们现在要在Ubuntu16.04上安装，因此只需要安装其他三个软件就可以了。自行安装sudo apt install mysql-server-5.7 mysql-client-5.7 php7.0 apache2配置apache启用PHP支持然后安装apache的php扩展

2017-11-16 21:36:01 606

转载 Linux中软连接和硬链接

同样是ln命令。加上-s就是软链接。不加就是硬链接，格式为：ln [-s] 被链接文件链接文件硬连接硬链接的特点是这样的：它会在链接文件处创建一个和被链接文件一样大小的文件，类似于国外网站和国内镜像的关系，硬链接占用的空间和被链接文件一样大（其实就是同一片空间）修改链接文件和被链接文件中的其中一个，另外一个随之同样发生变化硬链接的对象不能是目录，也就是说被链接文件不能为目录硬链接的两个文

2017-11-16 21:18:53 830

原创网卡设置监听模式，抓取数据包

1.使用的usb 网卡是RT3070 淘宝网链接 2.使用的是虚拟机VMvare安装kali linux kali linux,虚拟机 kali 的用户名是root,默认密码 toor打开监听模式a.使用 iwconfig 查看网卡状态如果网卡没有被激活，使用ifconfig wlan2(网卡名字) upb. 使用 airmon-ng [start 或者 stop] interface [c

2017-11-13 12:01:33 15226 1

原创 python定时任务调度库apscheduler的使用

import osimport timefrom datetime import datetimefrom apscheduler.schedulers.blocking import BlockingSchedulerdef tick(): file = open('log.txt', 'a+') file.write(str(datetime.now())+'\n')

2017-11-03 11:43:08 552