- 博客(46)
- 收藏
- 关注
RSS订阅转载 MSMQ message queue
利用 MSMQ（Microsoft Message Queue），应用程序开发人员可以通过发送和接收消息方便地与应用程序进行快速可靠的通信。消息处理为您提供了有保障的消息传递和执行许多业务处理的可靠的防故障方法。MSMQ与XML Web Services和.Net Remoting一样，是一种分布式开发技术。但是在使用XML Web Services或.Net Remoting组件时，Clie
2016-08-15 16:45:01
608
转载 hadoop 权威指南 HIVE
Hive 是建立在 Hadoop 上的数据仓库基础构架Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。1、 用户接口主要有三个：CLI，Client和 WUI。
2016-08-03 16:55:41
537
原创 hadoop 权威指南 HBase
Hbase原理、基本概念、基本架构应用将数据储存在带标签的表中，表的单元格是行和列坐标的坐标交集，他们有版本号。在默认情况下版本号是单元格插入时Hbase自动分配的时间戳。表的单元格内容是一个未解释的字节数组表行的键也是字节数组。行键是表的主键，被用来对表行进行排序。表行的列分组，形成列族（column families）。列族对象的前缀相同。列族必须在表架构时被声明定义，但是
2016-08-03 11:10:15
572
原创 hadoop spark 笔记
hadoop流：hadoop提供了一种API来运行MapReduce。hadoop流使用标准UNIX流作为hadoop和程序之间的接口。因此，只要编写的MapReduce能够读取标准输入，并写入标准输出，可以用任何语言编写MapReduce。hadoop管道：管道是C++接口的代称，管道使用sockets作为tasktracker与c++编写的map或者reduce函数的进程之
2016-08-02 15:04:26
327
原创 hadoop HDFS 笔记
分布化：两种节点控制作业的执行过程：jobtracker和tasktracker：job通过调度任务在task上运行，来协调所有运行在系统上的作业，task运行任务的同时，把进度报告传送到job，job记录每项任务的整体进程。如果其中一个任务失败了，job可以重新调度任务到另一个task分片：将输入数据划分成等量的小数据，hadoop为每个分片创建一个map任务分片
2016-08-02 14:40:17
262
原创 hadoop MapReduce 笔记
Q1.硬盘存储容量快速增长；而访问速度增长缓慢。A1.并行读取磁盘Q2.并行读取的问题：高概率硬件故障、数据合并Q3.HDFS（hadoop distributed filesystem）、MapReduceQ3.MapReduce优于DB+大量磁盘大规模的批量分析的原因A3.寻址时间的提高速度慢于传输速率提高速度MapReduce适合数据被一次写入
2016-08-02 11:19:38
310
原创 《软件架构编档》学习笔记 01
架构：将整体划分为具有特定相互关系的部分，每一部分都是相对独立而又为解决大的问题结合在一起。架构的实质是压缩当前任务不需要的信息。 文档：合理文档的其中要求：从读者角度编写文档避免出现不必要的重复：将信息分类记录避免歧义：避免多重方式对文档进行解释使用标准结构：记录基本原理保持更新文档，但更新频率不要过高针对目标适宜性对文档进行评审：寻求预期文档用户的帮助
2016-07-18 15:47:53
1780
原创 Django项目 实例 日记
1.创建C:\python\Django>django-admin startproject stripC:\python\Django>cd stripC:\python\Django\strip>tree /f卷 Windows8_OS 的文件夹 PATH 列表卷序列号为 00000090 EA34:912DC:.│ manage.py│└─strip
2015-08-24 16:10:33
6944
原创 lxml 包
例子：from lxml import htmlfrom lxml import etreeimport redom = html.fromstring(urllib2.urlopen(x[1]).read()) #取出html文本并转为 for div in dom.xpath("//div[@class='trip-wps']/div[@class='tr
2015-08-18 17:47:47
743
原创 Django 学习 4 表单处理
1.接下来，我们利用现有的Book数据做一个简单的查询页面。这既然是基于Book app的，我们就把搜索视图放在books.views中：books/views codes： from django.db.models import Q #导入查询对象 from django.shortcuts import render_to_response #返回response的快
2015-07-30 11:07:44
339
翻译 Django 学习 3 ADMIN站点管理
站点管理：Django提供了一个自动生成的超级管理员站点，如果你曾经注意到admin页面，那么就是它了。如果要去生成一个管理员站点让你的员工或客户去增、删、改站点内容是一件乏味而缺乏创造性的事情，因此，Dajngo为models自动的创建了管理员接口。Django在新闻编辑部的环境中被写出来的，对内容的提供者和公共部分有清晰地区分。站点管理者利用管理系统来增删改内容，而内容被发布在公共站点
2015-07-29 11:28:09
754
原创 Django 学习 2 MODEL数据建模
数据建模：以Mysql为例1.Django 的 M(Model)T(Template)V(View)开发模式： M:数据存取层，处理与数据相关的存取、正确性确认、数据之间的逻辑、行为定义等所有的事务 T:表现层，处理与表现相关的决策：如何在页面和其他类型中进行显示 V:业务逻辑层，包含了存取模型，以及调用恰当模型的相关逻辑在 Django 对 MVC 的诠释中
2015-07-27 16:44:16
470
原创 Django 学习 1 基础概念
0.Django的MVC设计模式： ——models.py 文件主要用一个 Python 类来描述数据表。称为 模型(model) 。运用这个类，你可以通过简单的 Python 的代码来创建、检索、更新、删除数据库中的记录而无需写一条又一条的SQL语句。 ——view.py 文件的 latest_books() 函数中包含了该页的业务层逻辑。这个函数叫做 视图(
2015-07-24 17:03:06
502
原创 Scrapy框架 学习笔记2
在这里记录一下学习过程中遇到的问题：1.我们自定义的爬虫是处理的从返回的response中提取item的过程，那么，在发送请求到接受响应之间，如果存在一些异常，我们需要记录下来：首先要知道，在srapy遇到异常之后，会在你允许的情况下重试这个网页，那么我们可以自定义一个RetryMiddleware：#自定义的下载中间件，用于记录下没有返回响应的异常网页from scrapy.dow
2015-07-22 15:21:22
641
原创 Scrapy框架 概念笔记1
任务：利用Scrapy完成网页内容的读取同事筛选出有用（中文+单词+数字）的内容1.安装配件： 1.lxml: lxml是Python语言里和XML以及HTML工作的功能最丰富和最容易使用的库。lxml是为libxml2和libxslt库的一个Python化的绑定。它与众不同的地方是它兼顾了这些库的速度和功能完整性，以及纯Python API的简洁性，大部分与熟知的Elemen
2015-07-15 13:09:37
714
原创 python对xlsx表格的操作
#coding:utf-8import xlrd1.打开xlsx文件：data = xlrd.open_workbook('filename')2.获取exxel的sheets：sheet1 = data.sheet()[0] //获取第一张表sheet2 = data.sheet_by_index(1) //获取第二张表sheet2 = data.
2015-06-14 22:26:42
4257
原创 Servlet动态页面技术
1.web.xml：控制Web应用程序的行为 1.Web工程启动时，首先读取配置文件 2.功能： 申明： 申明Servlet 申明filter 申明listener 自定义URLS： servlet f
2015-06-03 21:08:54
586
原创 JSP&Servlet
1.URL: 协议://主机地址:连接端口/目录/文件名称 协议： SMTP:Simple Mail Transfer Protocol FTP:File Transfer Protocol POP3:Post Office Protocol 3 HTTP:HyperText Transfer Pr
2015-06-02 11:57:51
396
原创 JDBC 基础操作
JDBC：1.通过JAVA访问数据库：2.JDBC包：java.sql:核心类与接口 javax.sql：数据库连接池，数据源，JNDI,Rowset3.常用类和接口：DriverManager：驱动管理器获得数据库连接 Connection：数据库连接接口 Statement：静态操作S
2015-06-01 22:41:45
368
原创 theano 模块 MLP示例
theano 教程Example: MLP：约定数组为列向量，层级：将多层传感器定义为一连串的层级，每个层级定义为一个类。类属性包括：权重、偏差矢量、以及计算这一层输出的函数。如果不使用Theano，我们可能希望输出函数会接收一个向量并返回图层的激活来响应输入。然而在Theano中输出函数反而是为了创造能够接收向量并返回图层激活的函数而创建的。因此我们要创建一个在类外部
2015-02-22 16:55:34
1178
原创 Theano 模块 基础知识篇
基础知识：符号变量：import numpy as npimport matplotlib.pyplot as pltimport theano# 根据规定，tensor 子模块重名为Timport theano.tensor as T# The theano.tensor 子模块拥有多种基本变量类型 # Here, we're defining a scala
2015-02-12 23:17:34
4823
原创 NumPy 模块 常用方法 学习
import numpy as np1. 多维数组：类型 numpy.ndarray方法：numpy.array(tuple[,dtype]): # tuple 可以是由 tuple 组成的；dtype 可以取 numpy.int32/.int16/.float64 对 tuple 的元素指定类型。 返回ndarray类型对象。>>> np.array([1.2,2,3,4],dt
2015-02-07 19:13:14
4485
原创 2015/02/02 - 2015/02/03
机器学习领域的几种主要学习方式1.supervised learning（监督式学习）：为算法提供多组 标准的 数据和对应答案，算法学习到之间的联系而能够为其他的数据输入提供接近标准的答案。 regression problems（回归问题）如平方数和房价呈函数型，这种场景下预测的数据是连续的。classification problems（分类问题）如肿瘤大小和良/恶性（或者大小+年龄
2015-02-03 18:13:06
361
原创 week10-实现网站的登录、注册功能
本周的任务要求如下：要求用flask建设一个课题组网站，具体要求如下：1）风格可大致如上周所给范例网站2）网站为双语，就是跟苏大网站一样，每一块文本内容都有中文和英语两种语言（两个对应页面，要求录入者在中文和英文描述框都输入）；3）角色分四类：管理者（就是老师）、内容添加者（老师指定的课题组同学）、课题组成员和普通浏览者；4）数据库还是mysql；5）网站内容分老师介绍、课题组同学介
2015-01-04 18:07:48
996
原创 week8- flask 框架学习
首先上学习资料。欢迎使用 Flask — Flask 0.10.1 文档Flask 教程Flask快速入门HTML 参考手册Web重构本周任务：利用flask框架写一个网站，要求风格类似于 案例 。要有与之对应的部分。任务的目的是让我们能够熟练运用flask框架的部分操作。因此对于网站内容部分我直接在百度百科中照搬过来。观察这
2014-12-19 12:52:56
973
转载 如何优雅地使用 Stack Overflow？
转载自 知乎 问题 ：如何优雅地使用 Stack Overflow？ 王月 的回答1、完整读一遍 FAQ。2、主观问题不要问.比如：C++和C哪个好用？ 我该学C#还是Java？你最爱哪款Text Editor？必close。3、概念问题慎重问。比如：STL是啥？C++11有啥新特性？lambda和fun
2014-12-14 17:24:17
700
原创 week7-学习写技术交底书的所得
第七周学习过程：术交底书过程的所学所得： 撰写技术交底书的目的是帮助专利代理人理解专利和完成专利申请书。所以在其中我们要向代理人交代专利的核心技术、价值和想要保护的方面。 技术交底书大致分为这么 5 个部分： 1.发明名称和所属技术领域：发明名称应该直接点出发明中应用的核心技术和发明的类型：是创新或是优化等等。而在所属技术领域中则要准确
2014-12-14 17:16:25
727
原创 第六周编程任务学习过程
a. 深入学习Github的使用：从Github上搜索并学习2～3个优秀的爬虫源代码，学习其编程风格和技巧；b. 以重要经济参数为例，进一步巩固爬虫和数据库使用技巧：完成对国际现货与期货石油价格、美元人民币汇率、美元指数等数据的实时监控，采样频率为一小时一次，相关数据的采样页面需要自己搜索。这次的代码任务只能说是前几周学习成果的一个小复习题。没有太大的难度，但是没有熟悉各种模板的函数运
2014-12-04 16:54:03
733
1
原创 thread 和 threading 模块的使用
thread 和 threading 模块的使用python 虚拟机启动时，多线程处理并没有打开。只支持单线程。1.thread ：thread模块作为低级模块，不推荐直接使用，但使用法简单。import threadimport timedef worker (index,create_time): print (time.time()-create.t
2014-12-01 22:28:45
542
原创 MySQLdb 模块的使用
MySQLdb 模块的使用首先你要有mysql，其次找到对应python版本的python—mysql包下载，注意64位与32的区别import sysimport MySQLdb#链接数据库try: conn = MySQLdb.connect(host = 'localhost',user = '用户名',passwd = '密码',db =
2014-12-01 11:33:38
427
原创 smtplib 模块的使用
smtplib模块的使用1.SMTP协议：采用一种相当于“接力”的方式在服务器之间传输邮件。发邮件案例：import stmplib#链接服务器并登陆#这里有两种方法实现# smtp = smtplib.SMTP("smtp.139.com")smtp = smtplib.SMTP()smtp.connect("smtp.139.com",25）#端口
2014-12-01 10:49:46
1213
原创 cookielib 模块基本运用
cookielib 模块提供了可储存 cookie 的对象。捕获cookie后并在后续连接请求的重新发送。处理包含 cookie 的文件1. CookieJar:储存在内存中import urllib2import cookirlibcookie = cookielib.CookieJar()handler = urllib2.HTTPCookieProcessor(cooki
2014-11-23 23:52:10
1139
原创 urllib2 模块基本运用
urllib2 模块的基本运用1.urlopen:提供了一个接口，可以用多种协议获取urlimport urllib2html = urllib2.urlopen("http://python.org/").read() //返回一个Request类（类文件）对象2.Request:处理所有的url协议import urllib2req = urllib2.Reque
2014-11-23 23:51:49
441
原创 urllib 模块基本应用
1. urlopen 抓取网页的urlimport urllibprint urllib.urlopen('http://www.geogle.com').read()urllib.urlopen(url[,data[,proxies]]) //url: 远程数据地址， data：post提交的表单，提交表单数据有post，get两种方法， proxies: 设置代理
2014-11-23 23:50:47
310
原创 python中使用 正则表达式
正则表达式：正则表达式（RE）是一种小型的、高度专业化的编程语言，它内嵌在python中并通过 re 模板来实现你可以为将要匹配的字符串指定规则，可以确定字符串是否或部分匹配该模式吗，或者利用 RE 的各种方法分割或修改字符串字符匹配：元字符的完整列表：. ^ $ * + ? { [ ] \ | ( )[]：指定一个字符类别，可列出也可用 - 分割两个字符来表示区间 (所有
2014-11-08 15:42:34
522
原创 《python 开发技术详解》 学习笔记
2014-10-28.py，.pyw 源代码由 python.exe，pythonw.exe 解释,可用文本编辑器打开编辑.pyc 字节代码python源文件编译多过后的字节文件，.pyc文件与平台无关可在多平台运行，.py直接运行或通过脚本生成.pycimport py_compilepy_compile.compile('XXXX.py').pyo 优化代码
2014-10-30 21:45:24
556
转载 Python 错误和异常小结_python_脚本之家
Python 错误和异常小结_python_脚本之家这不是一篇关于Python异常的全面介绍的文章，这只是在学习Python异常后的一篇笔记式的记录和小结性质的文章事先说明哦，这不是一篇关于Python异常的全面介绍的文章，这只是在学习Python异常后的一篇笔记式的记录和小结性质的文章。什么？你还不知道什么是异常，额...1.Python异常类 Python是面向对象
2014-10-30 21:13:10
635
原创 python 学习笔记5
2014-10-28python 标准库sys模块import syssys.argv列表 sys.exit()sys.version / sys.version_infosys.stdin sys.stdout sys.stderr //标准输入、标准输出和标准错误流。os模块os.name字符串指示你正在使用的平台。比如对于Windows，它是
2014-10-29 21:48:32
360
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人