lingfeng5的专栏

山不向我走来 我便向山走去

用redis实现scrapy的url去重与增量爬取

scrapy 自带了去重方案,通过RFPDupeFilter类完成去重,查看源码。 def request_seen(self, request): fp = self.request_fingerprint(request) if fp in self.fin...

2018-07-13 20:11:16

阅读数 1554

评论数 3

scrapy学习笔记—— CrawlSpider Requests添加header

 CrawlSpider爬虫,在使用rule提取链接后,如何添加headers、cookies--------------------------------Scrapy框架中分两类爬虫,Spider类和CrawlSpider类。在scrapy中,对有规律或者无规律的网站进行自动爬取时,常用到Cr...

2018-06-07 20:29:42

阅读数 1195

评论数 0

git使用之撤销部分修改

修改了文件a、b,假设需要撤销文件a的修改,使用git命令: 情况1、如果没有被git add到索引区 git checkout a 便可撤销对文件a的修改 2、如果被git add到索引区,但没有做git commit提交 1)使用git reset将a从索引区移除(但会保留在工作区) git ...

2017-07-26 22:52:50

阅读数 533

评论数 0

linux中断的上半部和下半部

linux中断机制 处理器一旦接收到中断,就会打断正在执行的代码,调用中断处理函数。如果没有禁止中断,该中断处理函数执行过程中仍有可能被其他中断打断。所以,中断处理函数执行得越快越好。另外,中断上下文中不能阻塞,这也限制了中断上下文中能干的事。因此,基于上面的原因,内核将整个的中断处理流程分为了上...

2017-07-09 19:50:41

阅读数 248

评论数 0

Linux网络驱动框架

Linux网络驱动框架,Linux网卡驱动框架 网络协议接口层向网络层协议提供提供统一的数据包收发接口,都通过dev_queue_xmit()函数发送数据,并通过netif_rx()函数接受数据。这一层的存在使得上层协议独立于具体的设备。网络设备接口层向协议接口层提供统一的用于描述具体网络设备属性...

2017-07-09 18:56:29

阅读数 382

评论数 0

分析usb驱动框架(usb-skeleton)

分析usb驱动框架(usb-skeleton) 以下是linux2.6.28 内核代码树 drivers/usb/中的文件usb-skeleton.c,usb-skeleton是usb驱动的框架通过修改一下部分代码就可一轻松的实现一个简单的设备驱驱动 每一个USB设备在内核中抽象为一个数据结构...

2017-07-05 21:42:19

阅读数 209

评论数 0

TX2440开发板Uboot移植教程

tx2440开发板 uboot移植

2017-07-01 00:06:33

阅读数 345

评论数 0

基于python的web框架——Flask 学习笔记

Flask Web开发:基于Python的Web应用开发实战。

2017-06-29 22:46:45

阅读数 1516

评论数 0

Python使用Telnetlib模块实现telnet远程操作

Python使用Telnetlib模块实现telnet远程操作,Python内置了telnetlib模块,支持telnet远程操作,只要直接import就可以。 TypeError: 'in <string>' requires string as left operand, not ...

2017-06-26 21:44:33

阅读数 22974

评论数 0

Git简明教程

Git简明教程。git代码回退命令。 git工作流和四大域,本地仓库由 git 维护的三棵“树”组成。工作目录,它持有实际文件;暂存区(Index),它像个缓存区域,临时保存你的改动;最后是 HEAD,它指向你最后一次提交的结果。回退或者撤销代码。git status git stash g...

2017-06-19 23:18:56

阅读数 203

评论数 0

Linux platform设备驱动开发框架概述

Linux platform设备驱动开发框架概述。通过一个实例来深入学习Linux platform设备驱动开发流程。 platform模型驱动编程,需要实现platform_device(设备)与platform_driver(驱动)在platform(虚拟总线)上的注册、匹配,相互绑定,然后...

2017-06-19 23:07:22

阅读数 221

评论数 0

很清晰的解读i2c协议

很清晰的解读i2c协议。 I2C协议:2条双向串行线,一条数据线SDA,一条时钟线SCL。 SDA传输数据是大端传输,每次传输8bit,即一字节。 支持多主控(multimastering),任何时间点只能有一个主控。 i2c起始信号、结束信号、应答信号。 i2c读写流程概述。

2017-06-17 02:15:29

阅读数 55958

评论数 3

linux下 i2c设备驱动开发(2)

I2C设备驱动的编写方式: 一种是直接操作CPU的I2C控制器,正对于某一个设备写一个字符驱动,这种驱动相对来说比较直接,不需要太依赖于内核相关配置,但是这类设备驱动依赖CPU,可移植性较差。 一种是基于linux内核I2C子系统完成设备驱动的编写,一般内核会继承相关CPU的控制器驱动即使没有...

2017-06-17 01:58:15

阅读数 1150

评论数 0

linux下 i2c设备驱动开发(1)

3.编写驱动需要完成的工作 编写具体的I2C驱动时,工程师需要处理的主要工作如下: 1).提供I2C适配器的硬件驱动,探测,初始化I2C适配器(如申请I2C的I/O地址和中断号),驱动CPU控制的I2C适配器从硬件上产生。 2).提供I2C控制的algorithm, 用具体适配器的xxx...

2017-06-17 01:49:08

阅读数 1138

评论数 0

linux I2C 设备驱动学习笔记

linux下的驱动思路:内核态驱动和用户态驱动 一是把I2C设备当作一个普通的字符设备来处理,用i2c-dev.c文件提供的API,封装设备时序数据,直接操作i2c适配器驱动对应的设备文件,实现与设备的通讯。属于用户态驱动。 二是利用linux下I2C子系统框架体系来实现。属于内核态度驱动...

2017-06-16 00:02:14

阅读数 2201

评论数 2

linu spi子系统驱动开发笔记之实例(2)

Linux SPI子系统驱动开发 介绍基于SPI子系统驱动开发框架,并以FS_S5PC100上的M25P10芯片为例(内核版本2.6.29),写了一个Linux SPI驱动实例。 实现流程:实现platform设备,实现platform驱动。主要设计结构体Platform_driver,Platf...

2017-06-14 21:21:17

阅读数 179

评论数 0

linu spi子系统驱动开发笔记之实例(1)

linu spi子系统驱动开发实例 以W25Q32BV芯片为例子,介绍了 linu spi子系统驱动开发流程。platform_device设备定义及注册。platform_driver设备驱动实现。

2017-06-13 23:30:50

阅读数 152

评论数 0

Linux SPI 子系统驱动笔记之Linux spi设备驱动与SPI控制器驱动的匹配问题

Linux SPI 子系统驱动开发之Linux spi设备驱动与SPI控制器驱动的匹配问题。1.SPI协议层驱动是怎么与SPI控制器(spi_master)匹配的。2.spi控制器是怎么区分多个spi设备的。在SPI协议层中,spi_device是通过spi_register_board_info...

2017-06-13 23:07:40

阅读数 468

评论数 0

Linux SPI 子系统驱动程序开发笔记

Linux SPI 子系统驱动程序开发笔记。介绍了SPI协议及总结了linux spi 子系统驱动开发流程。然后用SPI接口的FLASH芯片W25Q32BV为例,具体概述了linux spi 子系统驱动开发流程。 1.注册平台设备 2.注册平台驱动 .probe()函数中注册描述spi控制器的...

2017-06-11 22:32:05

阅读数 779

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭