我要的shine-CSDN博客

原创持续交付初理解

简介所谓持续交付，其实是一种软件工程手法，让软件产品的产出过程在一个短周期内完成，以保证软件可以稳定、持续的保持在随时可以发布的状况。但持续交付的价值不仅仅局限于简单地提高产品交付的效率，它还通过统一标准、规范流程、工具化、自动化等等方式，影响着整个研发生命周期。下图为其主要优点：要点接下来主要说一下自己感触最深的两个要点，但持续交付的要点远不止这些。要点一：业务管理...

2020-03-14 11:28:23 516

原创搭建一个简单Django+vue 项目

简介：Django是python的web开发框架，采用了MTV的框架模式，即模型Model，视图View和模版Template。各自的职责为：模型（Model），即数据存取层：如何存取、如何验证有效性、包含哪些行为以及数据之间的关系等；模板(Template)，即表现层：如何在页面或其他类型文档中进行显示；视图（View），即业务逻辑层：存取模型及调取恰当模板的相关逻辑，模型与...

2020-03-14 11:24:08 1726 1

原创 Jsonschema测试实践

简介Json Schema就是用来定义json数据约束的一个标准。根据这个约定模式，交换数据的双方可以理解json数据的要求和约束，也可以据此对数据进行验证，保证数据交换的正确性（通俗来讲：描述或者验证数据格式）。Jsonschema的特性和用途：用于描述数据结构描述json数据时，如果数据本身的复杂度很高，高到三维四维，普通的标签函数已经无法表示这种层级结构，而Jsonschema...

2020-03-14 11:12:37 354

原创通过rest接口评估算法可用性

rest的简单理解：在使用之前，先简单的了解下rest：大家都知道”古代”网页都是前端后端融在一起的，比如之前的PHP，JSP等。在之前的桌面时代问题不大，但是近年来移动互联网的发展，各种类型的Client层出不穷，这就催促了rest的诞生。REST 近年来已经成为最主要的 Web 服务设计模式，它是一种软件架构风格，但不是一套标准，它用来规范应用如何在http层与API提供方进行...

2018-12-04 20:55:21 376

原创将图片解读为base64编码并传到接口中

将图片传入接口中，并取得结果，话不多说，直接上代码。import base64import requestsdef img_to_base64(img_path): #将图片转为base64编码格式 with open(img_path,'rb') as f: img_base64=base64.b64decode(f.read()) re...

2018-09-10 17:08:58 1882

原创将照片以base64形式写到文件中

将目录下每一个照片都写成base64的形式，并存到相应的文件中，接下来就上代码吧。#coding=utf-8import base64import timeimport osdef create_file(path): ls = os.listdir(path) for i in ls : mulu=str(path)+str(i) f=...

2018-04-26 14:41:00 1663

原创抓取新浪网的标题

刚想开始入手的时候，想着爬今日头条来的，但是看它那么难，就往后放了放，一直在跟前辈们沟通，但是中间也不能闲下来呀，所以，就穿插着又爬了一下新浪网的新闻，这个就比较简单了，直接查看网页源代码就可以找到他的信息，那接下来就直接上代码就可以了噻~# coding=utf-8import refrom bs4 import BeautifulSoupimport urllib2class XL...

2018-04-24 18:57:18 289

最近又把之前的东西捡捡，想想之前的那些代码，并照着之前的看了看，感觉自己已经什么都不会了，既然想着捡捡，那就必须要搞点事情了，想着爬一下网站的内容，然后就好巧不巧的选了今日头条，然而今日头条的问题看起来还不小，接下来就随我一起去看看吧~_~1. 首先爬一个网页，最基础的是要观察它的界面，但是不知道小伙伴们发现没有，这个今日头条在谷歌上打开的话，查看源码的时候是没有任何有价值的信息的，所以我们就不能...

2018-04-24 18:42:22 5986

原创 sql中between and 和< > 的区别

最近比较在用sql语句，我的数据库是mysql啦~自己感受很深的是between and的用法根据数据库的不同可以包含两头的数据，也可以只包含一头的数据，还可以两头数据都不包含，但是等符号，可以根据具体需求来具体定义，若想都包含就再加一个等于号=，若想只包含一头，那么在想包含的那头加上一个等于号=，若都不想包含则不用加等于号，比较通俗易懂的理解，还希望大家可以积极交流，谢谢大家！

2017-10-09 17:06:18 30280 2

原创 python中Matplotlib的坐标轴的坐标区间的设定

>>> import numpy as np>>> import matplotlib.pyplot as plt>>> x=np.arange(-5,5,0.01)>>> y=x**3>>> plt.axis([-6,6,-10,10])[-6, 6, -10, 10]>>> plt.plot(x,y)[]>>> plt.show()画出来的图形如下：另外坐标轴还有另一种

2016-02-18 21:05:00 71094

原创 Python中的shape计算矩阵

看到机器学习算法时，注意到了shape计算矩阵的方法接下来就讲讲我的理解吧>>> from numpy import *>>> import operator>>> a =mat([[1,2,3],[5,6,9]])>>> amatrix([[1, 2, 3], [5, 6, 9]])>>> shape(a)(2, 3)>>> a.shape[0] #计算行数2

2015-12-11 22:23:46 14922

原创创建第一个scrapy项目

创建项目在开始爬取之前，您必须创建一个新的Scrapy项目。进入您打算存储代码的目录中，运行下列命令:scrapy startproject tutorial该命令将会创建包含下列内容的 tutorial 目录:tutorial/ scrapy.cfg tutorial/ __init__.py i

2015-12-08 20:42:27 2239

原创 Windows下安装Scrapy框架

网上关于Scrapy的安装已经一大片了，但是为了自己看着自己的能明白，也为了做一个笔记，所以说，还是要写一写的首先第一步：你的确认自己已经安装好了Python，我安装的是Python2.7（32位）（稍后会把包给大家传上来）包的位置：http://yunpan.cn/c3JaeyKgndnQK （提取码：1032）进入cmd后输入Python，如下（我安装路径是在D盘）：（这里就不

2015-11-30 21:26:04 577

原创抓取网易新闻

自己写了些关于抓取网易新闻的爬虫，发现其网页源代码与网页的评论根本就对不上，所以，采用了抓包工具得到了其评论的隐藏地址（每个浏览器都有自己的抓包工具，都可以用来分析网站）如果仔细观察的话就会发现，有一个特殊的，那么这个就是自己想要的了然后打开链接就可以找到相关的评论内容了。（下图为第一页内容）接下来就是代码了(也照着大神的改改写写了)。#coding=utf-8

2015-11-29 13:51:55 1609

原创 Python解析json

刚学习到Python中解析json的方法，觉得有必要在这里坐下笔记。我是在python的内部环境中看的 Encoding basic Python object hierarchies >>> import json >>> json.dumps(['foo', {'bar': ('baz', None, 1.0, 2)}])

2015-11-28 20:42:20 447

原创利用bs模块抓取数据

刚刚用bs模块抓取了一些数据，发现其中真的有好多问题，觉得对自己很有用，有的甚至是困扰自己很长时间的。接下来就说说吧抓取的是豆瓣电影的网站http://movie.douban.com/top250，其实用bs模块是非常简单的，就一个函数就能搞定了可是这中间我就出现了一些问题，例如，分割的不明显，然后自己就一直绕，最后看bs文档http://beautifulsoup.readth

2015-11-28 13:52:41 1381

原创 kettle excel

自己正在做一个关于数据预处理的东西，正在清洗数据，发现kettle4.x 中excel只能处理65536行数据，多的话就会出现错误，所以在这补充一下，还是像上个文章说的尝试用5.x虽然5.x也是计划要用，感觉还是应该比4.x要好些。

2015-11-20 18:08:22 916

原创 kettle中行扁平化使用

行扁平化也是自己摸索着进行的，有不足的地方还奇怪大神指教。原来的excel表格是这样的现在我们把它转换一下，我做的流程是这样的其中行扁平化是这样的所以，处理之后就变成了所以行扁平化可以用作做表头。并且如果数据没有什么缺陷，那么做出来就应该是很完整的！

2015-11-20 18:06:42 4093

原创 kettle版本的区别

最近搜了搜kettle，发现其版本有很大的区别，无论是从哪方面来说，我现在正在用的是4.x版本，发现其中就有很多没有涉及到的东西，而5.x中就有很多4中没有的东西，比如，5.x中就有链接hadoop的控件，可以和hadoop实现对接，在csdn中看到的一片文章中有很详细的介绍(http://blog.csdn.net/xiaohai798/article/details/39558939)

2015-11-18 20:07:22 9637 2

原创 Python运行时的常见错误

这些常见错误，也是我有时会遇到的，说到底还是不细心的缘故，所以，在这里跟大家说，无论自己在干什么，一定要细心对待。1.忘记在if，elif，else等后面忘记加：导致“SyntaxError ：invalid syntax”2.符号的错误使用。像“==”和“=”没有却别开就用，也会导致1中的错误3.缩进的错误使用。记住缩进只使用在：后面，并且之后一定要恢复到之前的缩进格式以前没

2015-11-16 10:03:00 713

原创 sum,range

时间一长，东西就爱忘记，也是因为自己不扎实的缘故吧。再记一下sum和range的使用。sum是Python中一个很实用的函数，sum()的参数是一个列表形式。例如：sum(1,2,3)就会出错，而sum([1,2,3])就会出现结果为6大家都知道range这个很强大，很方便的函数例如：range(1,12) #代表从1到12（不包括12）range(1,12,2) #代

2015-11-12 21:21:31 4544

原创用kettle处理重复值和空缺值

原来的文档是这样的此处是重复此处为空缺值接下来是处理步骤：过滤记录为除去空缺值，而Unique rows则是除去重复值处理完成后为重复的值自然也没有啦此方法只是我自己的想法，如果有好的想法，还希望彼此交流下

2015-11-10 19:22:16 4606

原创 Python一些函数的笔记

以下是我在一个网址上看到的，自己就在这总结了一下,算是在学习过程中的笔记吧！enumerate(list)迭代列表时，应该同时迭代其中的元素及其索引。mylist = ["It's","only","a","model"]for index,item in enumerate(mylist): print(index,item)输出：(0, "It's")(1,

2015-11-04 19:29:41 440

原创 filter的使用

filter（function，iterable）使用function的规则滤除iterable对象中不满足规则的元素。def is_odd(n): return n%2==1result = filter(is_odd, [1,2,3,4,5,6])print result结果是[1,3,5]现在尝试用filter（）删除1-100中的素数def is_prime(n):

2015-11-02 10:00:04 425

原创爬取药智网的中药材基本信息库

最近正在做爬虫系列的东西，也是刚刚开始写，写的也不怎么样.....下面是我写的爬取中药材基本信息库的代码，还请大家多多指导。首先先看网页，刚开始的时候，中的信息无法读出来，导致后面的信息也读不出来，所以下面就改了一下网址的源码。然后，信息与信息之间的分割应该是空白符（原来我一直以为是换行符，多亏有大神指导！），所以代码为：#coding=utf-8from bs4 i

2015-10-31 11:22:49 3126 4

转载 Python高手四部曲

这篇文章是我从别的文章读取的一些东西，当然，自己也是加了一些理解和心得的，当然也有很多比我优秀的比我有才华的人作出了许多有关于如何成为Python高手的途径。主要是四个基本题目：函数式编程，测试，编码规范，入库。如果一个程序员这四方面的知识都能熟练，那么不管怎样都会有很大的收获！一、函数式编程命令式的编程已成为事实上的标准。命令式的编程的程序是由一些描述状态转变的语句组成。当然你自己

2015-10-29 18:50:39 584

原创 linux下部署kettle

自己也是刚学习kettle不久，还没有精通，以下是我linux下部署kettle的学习笔记和心得，接下来就让我们开始吧！一、首先先看一下允许kettle的最低版本的JDK,编辑查看spoon.bat可以看到可以看出，最低版本是1.6的JDK，所以安装的JDK版本应该在1.6之上二、登录linux（直接在root用户下操作即可）1、安装JDK（这里就不多说关于安装ja

2015-10-28 22:11:20 6448 1

转载 Python中运用正则表达式抓取网页图片

#!/usr/bin/pythonimport reimport urllib#获取网页信息def getHtml(url): page = urllib.urlopen(url) html = page.read() return htmldef getImg(html):#匹配网页中的图片 reg = r'src="(.*?\

2015-09-23 21:43:55 3210

原创 Python抓取新闻标题和链接

#-*-coding:utf-8-*-import refrom urllib import urlretrieve from urllib import urlopen #获取网页信息doc = urlopen("http://www.itongji.cn/news/").read() #抓取新闻标题和链接def extract_title(info):

2015-09-23 21:23:00 3559

ccy950903的博客