- 博客(5)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Scrapy爬取数据存入Mongodb中
导读这次使用scrapy简单的爬取一些多列表电影数据，存储在csv文件及json文件中，最后把这些数据全部存储在Mongodb中。涉及的知识点有pipeline，yield，中间件，xpath，items 的使用。入口文件编写文件名：douban_spider.py实现代码如下：# -*- coding: utf-8 -*-import scrapyfrom douban.ite...
2019-01-18 16:25:15
2377
原创 AE CS6 安装后启动报错BUG解决
导读这些天无论写代码还是弄软件几乎都是在解决各种奇奇怪怪的BUG，就比如前些天本想用Scrapy爬取今日头条的视频，单单是启动项目都弄了好久的依赖和配置。这次需要在AE中使用一个短信、私信、微信等聊天对话的文本消息生成器脚本text_messages_script.jsx，但是这个脚本需要英文版的支持，所以下载了个AE CS6该插件脚本text_messages_script.jsx的AE模...
2019-01-16 10:45:47
3456
1
原创 Scrapy安装及项目启动血泪辛酸史
导读作为python新手，更是一名scrapy的菜鸟。在这里简单的吐槽Scrapy官方文档两句，对于官方文档的指南更多的需要是参考而不是照搬，如果你放弃了前者选择了后者，就会像我一样，在前期阶段超级想放弃Scrapy的学习，还真是没入门就想放弃，特别的尴尬。简单叙述下压垮你信心的几个大坑使用pip安装scrapy依赖报错信息百度铁定搜不到，CSDN、segmentfalt搜了同样的报错问...
2019-01-15 15:30:25
1816
原创 Javascript高性能开发之阻塞和数据存取
一、脚本的加载和运行的阻塞性能优化script标签的出现，每次都需要让页面等待下载，解析，执行，如果把script写在head标签里面，页面的下载和渲染都需要等待脚本执行完毕。虽说目前的大多浏览器都都有并发请求加载的机制，但是script脚本的解析和运行依旧是阻塞页面内容加载和交互的一个问题。待优化的案例脚本：<!DOCTYPE html><html><he...
2019-01-04 19:12:18
761
原创 ES6+Koa2+Web Audio API 可视化音频应用开发
目录导读项目成品预览一、整个开发思路二、后端配置1. 安装koa应用生成器2. 新增路由 `/musc`三、前端配置1. 目标页面 `views/index.ejs`, 编辑如下2. 配置前端交互脚本 `public/javascript/music.js`四. 项目源码地址导读这段时间遇到个项目需要涉及音频流的可视化开发，可H5 Web Audio API 都是好几年前在慕课网有接触过了，然...
2019-01-01 18:17:14
1393
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人