2015年12月_刘元涛

12月 11月 05月 01月

转载 CentOs6.5中安装和配置vsftp简明教程

一、vsftp安装篇# 安装vsftpdyum -y install vsftpd# 启动service vsftpd start# 开启启动chkconfig vsftpd on二、vsftp相关命令之服务篇代码如下:# 启动ftp服务service vsftpd start# 查看ftp服务状态service vsftpd status# 重启f

2015-12-31 20:21:50 297

转载 DHT 爬虫的学习记录

DHT协议原理以及一些重点分析：要做DHT的爬虫，首先得透彻理解DHT，这样才能知道在什么地方究竟该应用什么算法去解决问题。关于DHT协议的细节以及重要的参考文章，请参考文末1 DHT协议作为BT协议的一个辅助，是非常好玩的。它主要是为了在BT正式下载时得到种子或者BT资源。传统的网络，需要一台中央服务器存放种子或者BT资源，不仅浪费服务器资源，还容易出现单点

2015-12-24 19:54:10 3347 1

转载基于Python，爬取豆瓣读书源码

记得上次分享了一个抓取豆瓣妹子美女图片的脚本，今天给大家分享一个爬取豆瓣读书的源码，也算是做个记录吧，目前已经在学习编程的路上，以后要是想写什么爬虫也可以参考参考自己收藏的一些代码，嗯，虽然我还是个代码小白，不过相信有一天我也能很轻松的写出这样的代码，加油！我不是作者，我只是勤劳的搬运工！贴出部分代码，源码到文章底部下载：#!/usr/bin/env python#

2015-12-22 16:50:04 1988

转载手撕包菜BT搜索引擎带爬虫自动抓取安装

看过网络上各种各样的BT搜索网站，但是最喜欢的还是手撕菜包（bt.shousicaibao.com)，目前这个网站好像已经打不开了，也许作者无心经营，但是他（xiaoxia）给我们留下了开源的源码，这是极好的。目测此源码是基于python+mariadb/mysql写的，django做web服务器，我没有测试过，因为服务器不给力，但是有人给出了搭建方法：1.linux系统。

2015-12-22 16:41:30 21239

原创 Open edX官方提供5种方式扩展edx

github地址：https://github.com/edx/edx-platform/wiki/Five-ways-to-extend-edXjsinput -- 创建介绍js级别的组件并提供getState(), setState(), 和 getGrade()方法LTI -- edX 现在支持 LTI 1.1 , LTI 2.0 还是开发中custom grader -- Co

2015-12-21 17:05:37 3171

原创 Open edX Devstack配置视频上传

github地址：https://github.com/edx/edx-platform/wiki/Developing-on-the-edX-Developer-StackAmazon Web Service (AWS)To use the Video Upload feature in devstack, you'll need an AWS account.Login

2015-12-21 16:10:29 1298

原创 Open edX Devstack使用图形界面工具链接MySQL远程vagrant数据库

github地址：https://github.com/edx/edx-platform/wiki/Developing-on-the-edX-Developer-Stack首先需要SSH key。key的位置位于~/.vagrant.d/insecure_private_keyConnection Method: Standard TCP/IP over SSHSSH Hostnam

2015-12-21 16:05:10 1018

原创 Open edX Devstak加快开发者模式调试速度

禁用Django工具栏等，可以加快本地的LMS和CMS调试！一、创建lms/envs/private.py 和 cms/envs/private.py者两个文件二、复制下面代码DISABLE_DJANGO_TOOLBAR = TrueDISABLE_CONTRACTS = Trueif DISABLE_DJANGO_TOOLBAR: from .common im

2015-12-21 15:51:51 741

原创 Django中Request 对象介绍

HttpRequest对象包含当前请求URL的一些信息：属性描述path请求页面的全路径,不包括域名—例如, "/hello/"。method请求中使用的HTTP方法的字符串表示。全大写表示。例如:if request.method == 'GET': do_s

2015-12-19 22:15:28 1112

原创定制主题

If you have a custom theme called "customtheme" in a sandbox instance:1) Add the following lines to /edx/app/edx_ansible/server-vars.ymledxapp_use_custom_theme: trueedxapp_theme_name: 'customth

2015-12-19 21:16:41 643

转载 jQuery插件的理解 $.extend()与$.fn.extend()

插件开发包括两种：1.类级别的插件开发，即$.extend()扩展jquery对象本身；2.对象级别的插件开发，即$.fn.extend()扩展jquery元素集来提供新的方法。 1.类级别的插件开发 1.(function($){ $.extend({ hello:function(){ale

2015-12-19 20:34:32 330

转载快速理解RequireJs中的config

在html中引入requirejs在HTML中，添加这样的标签：script src="/path/to/require.js" data-main="/path/to/app/config.js">script>通常使用requirejs的话，我们只需要导入requirejs即可，不需要显式导入其它的js库，因为这个工作会交给requirejs来做。属性 dat

2015-12-18 21:43:37 12817

转载 Less 简介

入门Less 是一个Css 预编译器,意思指的是它可以扩展Css语言,添加功能如允许变量(variables),混合(mixins),函数(functions) 和许多其他的技术，让你的Css更具维护性，主题性，扩展性。Less 可运行在 Node 环境,浏览器环境和Rhino环境.同时也有3种可选工具供你编译文件和监视任何改变。例如:@base: #f938ab;.box

2015-12-18 16:43:06 391

转载 Backbone.js 1.1.2

介绍（Introduction）当我们开发含有大量Javascript的web应用程序时，首先你需要做的事情之一便是停止向DOM对象附加数据。通过复杂多变的jQuery选择符和回调函数很容易创建Javascript应用程序，包括在HTML UI，Javascript逻辑和数据之间保持同步，都不复杂。但对富客户端应用来说，良好的架构通常是有很多益处的。通过Backbone，你可以

2015-12-18 16:42:14 804

转载 Zepto.js 1.1.6

Zepto 模块moduledefaultdescriptionzepto✔核心模块；包含许多方法event✔通过on()& off()处理事件ajax✔XMLHttpRequest 和 JSONP 实用功能form✔序列化 & 提交web表单ie✔

2015-12-18 16:40:51 871

转载 Underscore.js 1.8.3

集合函数 (数组或对象)each_.each(list, iteratee, [context]) Alias: forEach 遍历list中的所有元素，按顺序用遍历输出每个元素。如果传递了context参数，则把iteratee绑定到context对象上。每次调用iteratee都会传递三个参数：(element, index, list)。如果list是个JavaScrip

2015-12-18 16:38:11 1830

转载 RequireJS 2.0 API

使用§ 1加载 JavaScript 文件§ 1.1RequireJS的目标是鼓励代码的模块化，它使用了不同于传统标签的脚本加载步骤。可以用它来加速、优化代码，但其主要目的还是为了代码的模块化。它鼓励在使用脚本时以module ID替代URL地址。RequireJS以一个相对于baseUrl的地址来加载所有的代码。页面顶层标签含有一个特殊的属性data-main，

2015-12-18 16:21:49 502

原创 JAVA开发环境变量配置

1.配置jdk环境变量1.系统变量→新建 JAVA_HOME 变量—>D:\Java\jdk1.7.02.系统变量→Path 变量→编辑，在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; （注意原来Path的变量值末尾有没有;号，如果没有，先输入;号再输入上面的代码） 3.系统变量→新建 CLASSPATH 变量变量值填写 .;%

2015-12-16 18:41:24 441

转载 chmod命令详解使用格式和方法

Linux/Ubuntu 系统中文件调用的权限分为三级:文件拥有者(u)、群组(g)、其他(o)。用chmod就可以更改文件的权限。chmod是一个相当灵活的命令，对同一个文件的权限的修改可以用多种风格的命令格式来实现。方式一：语法格式： chmod [-vR] mode 文件名参数说明:mode 权限设置字串,格式为[ugoa] [+-=] [rwx]u 表示文件的拥有者

2015-12-16 09:22:43 9137

转载 ls命令详解使用格式和方法

ls格式：ls [参数] [文件/目录]参数说明:-a 表示列出所有的文件，包括以"."开头的隐藏文件-d 如果其后接的是一个目录，则此只输出目录的名称-l 表示以清单的形式列出文件的条目，包括文件的名称、权限、拥有者、大小、最后修改时间等-t 表示列出的条目按最后修改的时间进行排序，默认是使用文件夹的名称来排序-C 以文件的名称按列纵向排序-F 在文件名后加一个符

2015-12-16 09:21:17 2645

原创 linux 远程ssh链接介绍

首先要安装sshsudo apt-get install sshSSH 远程登入 Ubuntu 机ssh username@192.168.0.1将文件/文件夹从远程 Ubuntu 机拷至本地(scp)scp -r username@192.168.0.1:/home/username/remotefile.txt将文件/文件夹从本地拷至远程 Ubuntu

2015-12-16 09:00:27 488

转载 WebMagic抓取前端Ajax渲染的页面

抓取前端渲染的页面随着AJAX技术不断的普及，以及现在AngularJS这种Single-page application框架的出现，现在js渲染出的页面越来越多。对于爬虫来说，这种页面是比较讨厌的：仅仅提取HTML内容，往往无法拿到有效的信息。那么如何处理这种页面呢？总的来说有两种做法：在抓取阶段，在爬虫中内置一个浏览器内核，执行js渲染页面后，再抓取。这方面对应的工具有Seleni

2015-12-15 12:48:19 16409

转载 WebMagic爬新浪博客

列表+详情的基本页面组合我们先从一个最简单的例子入手。这个例子里，我们有一个列表页，这个列表页以分页的形式展现，我们可以遍历这些分页找到所有目标页面。示例介绍这里我们以作者的新浪博客http://blog.sina.com.cn/flashsword20作为例子。在这个例子里，我们要从最终的博客文章页面，抓取博客的标题、内容、日期等信息，也要从列表页抓取博客的链接等信息，从而获取这个博

2015-12-15 12:47:41 2214

转载 Webmagic-定制组件

原文出自：http://webmagic.io/docs/zh 访问经常出错，于是把文档转到自己博客里在第一章里，我们提到了WebMagic的组件。WebMagic的一大特色就是可以灵活的定制组件功能，实现你自己想要的功能。在Spider类里，PageProcessor、Downloader、Scheduler和Pipeline四个组件都是Spider的字段。除了PageProcess

2015-12-15 12:42:33 5481

转载使用注解编写WebMagic爬虫

原文出自：http://webmagic.io/docs/zh 访问经常出错，于是把文档转到自己博客里WebMagic支持使用独有的注解风格编写一个爬虫，引入webmagic-extension包即可使用此功能。在注解模式下，使用一个简单对象加上注解，可以用极少的代码量就完成一个爬虫的编写。对于简单的爬虫，这样写既简单又容易理解，并且管理起来也很方便。这也是WebMagic的一大特色，

2015-12-15 12:38:04 5061 7

转载 WebMagic-使用入门

原文出自：http://webmagic.io/docs/zh 访问经常出错，于是把文档转到自己博客里1基本的爬虫在WebMagic里，实现一个基本的爬虫只需要编写一个类，实现PageProcessor接口即可。这个类基本上包含了抓取一个网站，你需要写的所有代码。同时这部分还会介绍如何使用WebMagic的抽取API，以及最常见的抓取结果保存的问题。1.1 实现PagePr

2015-12-15 12:33:47 30525 7

转载 WebMagic-介绍

原文出自：http://webmagic.io/docs/zh 访问经常出错，于是把文档转到自己博客里1.WebMagic概览1.1 WebMagic的设计思想1. 一个框架，一个领域一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语

2015-12-15 12:29:01 1961

原创登录Ubuntu是只提示public key登录解决方案

#编辑sshd_config文件sudo vim /etc/ssh/sshd_config#密码验证PasswordAuthentication yes#启用密钥验证RSAAuthentication noPubkeyAuthentication no

2015-12-15 09:38:21 2243

原创 Open edX安装Devstack

1.安装准备软件： VirtualBox >= 4.3.12 Vagrant >= 1.6.52.执行安装的版本：export OPENEDX_RELEASE="named-release/cypress"3.安装mkdir devstackcd devstackcurl -L https://raw.githubusercontent.com/edx/configur

2015-12-14 21:39:05 1371

原创在Ubuntu 12.04安装和设置SSH服务

1.安装Ubuntu缺省安装了openssh-client,所以在这里就不安装了，如果你的系统没有安装的话，再用apt-get安装上即可。安装ssh-serversudo apt-get install openssh-server安装ssh-clientsudo apt-get install openssh-client2.确认sshserver是否安装好ps

2015-12-14 12:46:18 301

转载 ReactJs入门介绍

现在最热门的前端框架有AngularJS、React、Bootstrap等。自从接触了ReactJS，ReactJs的虚拟DOM（Virtual DOM）和组件化的开发深深的吸引了我，下面来跟我一起领略ReactJS的风采吧~~ 章有点长，耐心读完，你会有很大收获哦~一、ReactJS简介React 起源于 Facebook 的内部项目，因为该公司对市场上所有 JavaSc

2015-12-13 22:16:21 370

转载 React 入门实例教程

文章来源：阮一峰的博客http://www.ruanyifeng.com/blog/2015/03/react.html现在最热门的前端框架，毫无疑问是 React 。上周，基于 React 的 React Native 发布，结果一天之内，就获得了 5000 颗星，受瞩目程度可见一斑。React 起源于 Facebook 的内部项目，因为该公司对市场上所有 JavaS

2015-12-13 22:12:53 1153

转载 Python模板库Mako的用法

Mako是一个高性能的Python模板库，它的语法和API借鉴了很多其他的模板库，如Django、Jinja2等等。基本用法创建模板并渲染它的最基本的方法是使用 Template 类：?123from mako.template import Templatet = Template('hell

2015-12-11 17:21:12 4676

转载 Python模板库Mako的语法

原文链接：http://www.yeolar.com/note/2012/08/28/mako-syntax/Mako模板从一个包含各种类型的内容的文本流解析得到，包括XML、HTML、email文本等。模板还可以包含Mako指令，用来表示变量和表达式替换、控制结构、服务器端注释、整块Python代码，还有用来提供额外功能的各种标签。所有这些结构都被编译为实际的Python代码。这意味

2015-12-11 16:09:04 5060 1

原创 Open edXDevstack启动出现：could not connect to localhost:27017: [Errno 111] Connection refused.

出现这个错误的原因是关闭虚拟机的时候强行关闭，但是mongo出现锁的情况，使用下面命令即可解决：vagrant sshsudo rm /edx/var/mongo/mongodb/mongod.locksudo mongod -repair --config /etc/mongod.confsudo chown -R mongodb:mongodb /edx/var/mongo/.sudo

2015-12-11 10:39:01 1816

原创 VirtualBox is complaining that the kernel module is not loaded

vagrant upThe provider 'virtualbox' that was requested to back the machine'default' is reporting that it isn't usable on this system. Thereason is shown below:VirtualBox is complaining t

2015-12-11 10:11:01 2112

原创配置Pycharm4.5.4调试edX Devstack

一、准备1.在Ubuntn上利用vagrant+VirtualBox搭建好了edXDeveloper Stack，并能成功访问2.在Ubuntu下安装好了Pycharm4.5.4并成功激活二、配置1.转换路径到本机/devstack/2.开启vagrant，输入命令：vagrantup3.利用ssh连接vagrant，输入命令：

2015-12-10 22:20:09 1183

转载 Ubuntu防火墙设置

1.安装 sudo apt-get install ufw 2.启用 sudo ufw enable sudo ufw default deny 运行以上两条命令后，开启了防火墙，并在系统启动时自动开启。关闭所有外部对本机的访问，但本机访问外部正常。 3.开启/禁用 sudo ufw allow|deny [service] 打开或关闭某个端口，例如：

2015-12-06 21:33:03 395

转载 edX-Cypress OVA导入后个性定制

配置SMTP，网站名称，域名等修改navigation.html：cd /edx/app/edxapp/edx-platform/lms/templatessudo cp navigation.html navigation.html.bak #修改前先备份sudo vi navigation.html找到`` 这行代码(tips:vim编辑器键入 /内容可以查

2015-12-06 17:57:18 1205 1

转载导入edustack的ova--版本为cypress的相关配置

默认系统账号用户：edustack密码：edustack.org修改虚拟机配置硬件修改虚拟硬件配置(RAM>4G disk>20G VCPU>2)磁盘是LVM格式，如果想扩展，请使用LVM网络配置ova使用静态ip配置。开机后编辑/etc/network/interfaces，例子如下：edustack@edustack:~$ cat /etc/networ

2015-12-06 16:01:16 841