一、来自scrapy框架的数据项加载器处理器代码
# -- coding: utf-8 --
import scrapy
import scrapy.loader
from scrapy.loader.processors import Join, MapCompose, TakeFirst
class TencentItemSpider(scrapy.Spider):
name = ‘tencent_item’
allowed_domains = [‘ke.qq.com’]
start_urls = [‘https://ke.qq.com/course/list?mt=1001&st=2002&tt=3019&price_min=1&page=1’]
def parse(self, response):
item = JobscrapyItem()
# loader = scrapy.loader.ItemLoader(item=item,selector=response.selector)
# loader = scrapy.loader.ItemLoader(item=item, response=response)
# 测试xpath的代码
# price = response.xpath(’/html/body//section/div/div/ul/li/div/span[@class=“line-cell item-price”]/text()’)
# print(‘self:’, len(price), price.getall())
# company_name = response.xpath(’/html/body//section/div/div/ul/li/div/span/a/text()’)
# print(‘self:’, len(company_name), company_name.getall())
course_list = response.xpath(’/html/body//section[@class=“main autoM clearfix”]/div/div/ul/li’)
print(len(course_list))
for course_ in course_list:
# loader = scrapy.loader.ItemLoader(item=item, selector=course_)
loader = CourseItemLoader(item=item, selector=course_)
loader.add_xpath(‘company_name’, ‘div/span/a/text()’)
loader.add_xpath(‘course_price’, ‘div/span[@class=“line-cell item-price”]/text()’)
re = loader.get_xpath(‘div/span[@class=“line-cell item-price”]/text()’)
# print(re)
yield loader.load_item()
def in_price_processor(value):
print(float(value[0][1:]))
# print(value)
# 删除¥符号,转换为float类型
return float(value[0][1:])
def out_price_processor(value):
print(value)
# 删除¥符号,转换为float类型
return value[0] + 100
class JobscrapyItem(scrapy.Item):
# 培训公司名
company_name = scrapy.Field()
# 课程价格
course_price = scrapy.Field(
# input_processor=in_price_processor,
# output_processor = out_price_processor
)
# -----------------------重点关注这个全局函数的self参数
def price_processor(self, value):
print(self) # 输出的类型是CourseItemLoader
print(float(value[0][1:]))
# print(value)
# 删除¥符号,转换为float类型
return float(value[0][1:])
class CourseItemLoader(scrapy.loader.ItemLoader):
course_price_in = price_processor # 这个函数被调用。
# course_price_out = price_processor
二、Python的接口编程实现技巧
从上面代码可以得到一种类似抽象接口实现的编程技巧;尽管传统使用的是抛出实现异常机制,我觉得这种编程思路也不错(传统异常方式稳定性,逻辑性更加好点),可以减肥食谱:www.sheonline.cn实现类的定义与成员实现的分离,达到程序设计的低耦合实现,在此备忘一下代码。
class A:
meth = None
def meth(self, param):
print(param)
class B(A):
meth = meth
b = B()
b.meth(‘hello’)
一看到“IT高手”这几个字,大家都会想到黑客,是的,黑客是IT高手,但IT高手并不一定是黑客。我心目中IT高手,是电脑技术特别是软件开发技术非常厉害的人,能开发非常优秀软件被大家使用的人。
IT高手有两个技术方向。一个是嵌入式单片机开发方向;另一个是电脑上的软件开发方向,主要是Windows XP及以上版本操作系统中的软件开发。
我们首先来说一下嵌入式单片机开发方向,以下是学习嵌入式单片机最佳过程:
1. 《C语言程序设计》。这个是嵌入式单片机的软件基础。
2. 《单片机基础》。这个是嵌入式单片机的硬件基础。以8位单片机中最典型的80C51单片机讲解,以汇编编程。
3. 《单片机C语言程序设计》。这个是用C高级语言来开发单片机软件的方法,单片机C和《C语言程序设计》中内容大部分相同,只是其中一些与单片机硬件有关的编程不同,我们要学的也是这一部分。
4. 《数据结构》C语言版和《算法基础》。这个是进一步灵活应用C/C++语言来开发高水平软件的基础,也是软件开发的灵魂。当然电脑上的软件开发也要用到它。
5. 《32位单片机开发》。以上是8位单片机,所以要进一步深入学习就要学习32位单片机。主要学习32位单片机硬件特性。各种丰富的外设如屏,SD,蓝牙,网络,摄像头等开发。
6.《linux操作系统》和《C++程序设计》。 进一步发挥32位以及64位单片机特性。搭建具有更加丰富的外设平台,以满足各种实际应用的需要。
学完以上,差不多就是嵌入式单片机中的高手了,要想成为高手中的高手,只是多练习、多实践、多做项目、熟能生巧的过程了。
接下来我们说一下电脑上的软件开发方向,以下是学习电脑端软件开发最佳过程:
1. 《C语言程序设计》。这个是面向过程软件的基础。
2. 《C++语言程序设计》。这个是面向对象软件的基础。
3. 《数据结构》C语言版和《算法基础》。这个是进一步灵活应用C/C++语言来开发高水平软件的基础,也是软件开发的灵魂。
4. 根据自已想从事工作的方向选一种高级语言和开发工具学习。
VC++介绍: 硬件平台上位机开发,驱动开发,游戏开发,黑客技术等偏底层的软件开发,当然,其实它可以开发任何软件。
JAVA介绍: 开发网络软件,且跨平台特性。其实它可以开发大多数软件。
Delphi介绍:开发数据库软件,其实它可以开发大多数软件。
PHP介绍: 是一种 HTML 内嵌式的语言,开发动态网页,站点等等。
Python介绍: 是一种解释型脚本语言,可以应用于以下领域:
Web 和 Internet开发,如网络爬虫等等;
科学计算和统计。
我重点讲一下VC++的学习方法:
A. 第一步要学会WIN32项目和MFC类库的运行流程,也就是说知道自已要在那儿写代码或修改代码,达到自已想要的功能。
这方面建议看《深入浅出MFC》 侯俊杰著,这是非常经典的书,看完你就知道软件是怎样运作的,你VC++就入门了。
B. 第二步要根据自已工作方向,多买不同版本类似工作的书。且一定要买一本MFC类库手册,方便自已查阅类和函数。
C. 第三步是多练习、多实践、多做项目、熟能生巧的过程了。
D. 以上是学习VC++的方法。其它语言也一样,先要搞懂类库的运行流程,再就是结合工作方向学习具体相关知识,最后是多练习、多实践、多做项目就可以了。
学完以上,差不多就是电脑端软件开发中的高手了,要想成为高手中的高手,只是多练习、多实践、多做项目、熟能生巧的过程了。
看完上面的内容,大家可能觉得有好多内容啊!好难啊!是的,成为高手那有那么容易。但是只要学好C/C++语言程序设计,并在学习过程中培养自已高效的自学能力和创新精神,成为高手也是指日可待的。