- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Mac环境下打开WebStorm中settings
在用webstorm 开发nodejs时，由于版本不一样，window和Mac打开settings时会有很多不方便，现在就用一招就调出settings窗口：打开到WebStorm界面后使用快捷键 Command+‘，’，直接调出settings窗口 ...
2018-07-28 21:32:23
7258
原创 求助，nodejs 在安装threads_a_gogo时报错
目前用webstrom开发工具，在运行时，报错：安装命令：sudo npm install -g threads_a_gogo，运行出错截图：下图是，run运行出错截图请教各位大神，这个问题如何解决，很急。。。...
2018-07-27 12:01:20
1239
原创 nodejs throw er; // Unhandled 'error' event
在运行nodejs 时，有时候会报错，throw er; // Unhandled 'error' event，说明可能是之前运行的程序占用了现在运行的端口，更改端口即可
2018-07-27 09:46:52
1363
原创 数据结构和非数据结构详解
在提到数据结构和非数据结构时，好多人都有这样的意识，概念可能说不上来，接下来就来说说结构化数据和非结构化数据的概念以及不同：结构化数据、非结构化数据是对存储形式的一种数据类型分析，有助于企业细分行业案例，帮助存储合作伙伴更好地解决应用实施方案。结构化数据结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相...
2018-07-14 09:39:12
2145
原创 用execjs破解百度翻译sign
打开开发者工具：查翻译发送的请求信息，得到其 FormData 看到有个sign，接下来就破解一下，signsign 这个参数，应该如何设置？我们在 js 代码中，发现在某个 index_xxx 开头的 js 代码中发现一段可疑代码。将这段代码在格式化工具中重新排版一下，可以找到sign，是由待翻译的信息再用m函数运行之后得到的，m函数js代码如下：function a(r) { i...
2018-07-11 16:45:51
3504
2
原创 爬取51job职位信息
今天在爬职位信息的时候，先用的requests模块，后来发现，获取的数据全部是乱码。果断换成selenium+Chrome,成功获取数据，保存MongoDB在前期校验获取成果时，建议用selenium+Chrome，后期测试通过，换成无界面的PhantomJS代码如下：import timefrom selenium import webdriverfrom selenium.webdriver....
2018-07-07 20:00:54
1456
原创 pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: anjuke.ershoufang index
这个bug忙了我一下午加一个晚上，终于把它ko掉了先附上一段爬取安居客二手房信息的代码import reimport timeimport pymongoimport requestsfrom bson import ObjectIdfrom lxml import etreefrom pprint import pprintheaders = { "User-Agent": "Mozill...
2018-07-06 23:13:58
4906
1
原创 MongoDB与Redis的区别分析
MongoDB 和 Redis 的区别：简介MongoDB 更类似 MySQL，支持字段索引、游标操作，其优势在于查询功能比较强大，擅长查询 JSON 数据，能存储海量数据，但是不支持事务。MySQL 在大数据量时效率显著下降，MongoDB 更多时候作为关系数据库的一种替代。Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据...
2018-07-04 09:46:31
6889
原创 用Python实现微信撤回消息还原
在使用微信过程中，有时候我们会撤回一些发错或者不该发的一些信息，今天我就用一段代码实现将撤回的消息还原。。。从此再也不怕别人撤回消息，自己不能看的尴尬了import osimport reimport shutilimport timeimport itchatfrom itchat.content import *# 说明：可以撤回的有文本文字、语音、视频、图片、位置、名片、分享、附件# {ms...
2018-07-03 23:18:27
5153
2
原创 安装pyv8 过程出现的问题 src/Exception.h:6:10: fatal error: v8.h: 没有那个文件或目录
src/Exception.h:6:10: fatal error: v8.h: 没有那个文件或目录 error: command 'x86_64-linux-gnu-gcc' fai今天在安装pyv8的时候出现各种坑，最后还是让我解决掉了，下面梳理一下bug，为大家呈上教程首先在安装pyv8之前，要先安装依赖：安装依赖 首先安装依赖:Boost, 这一步网上的大部分教程都差不多，也是必须的; s...
2018-07-03 17:26:19
2691
1
原创 数据库优化方案之查询语句
数据库优化方案，主要的还是要优化查询语句，主要思路就是避免全表查询！！1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null最好不要给数据库留NULL，尽可能的使用 ...
2018-07-02 11:05:50
199
原创 聚焦爬虫与通用爬虫详解
根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.通用爬虫通用爬虫：搜索引擎用的爬虫系统。搜索引擎和web服务商提供的爬虫。目标：就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。抓取流程：首先选取一部分URL，把这些URL放到待爬取队列。从队列取出URL，然后解析DNS得到主机IP，然后保存...
2018-07-01 21:31:45
6832
邮件发送，数据库迁移，蓝图
2018-05-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人