蓝莓哈尼

坚持,在坚持,最后失望

Informatica常用组件

1. 表达式转换组件 (expression) expression 属于被动组件类型(passive),是一种行级表达式,不改变数据行数,功能强大,操作简单。  主要在以下情况下应用: 对流入数据的类型、内容值修改 添加、记录变量值 2. 筛选器转换组件(filter)   fil...

2019-06-23 23:04:33

阅读数 4

评论数 0

Informatica的使用

1、工具说明 R 是对部署文件进行管理(包括新增、删除、修改等) D是在部署文件下进行ETL设计 W是在D设计好直接进行工作流调度 M是W执行的时候显示日志 2、对Designer部件讲解 2.1、更新策略转换组件 ...

2019-06-23 12:16:10

阅读数 2

评论数 0

python 高阶函数map()、filter()、reduce()

map()函数是接收两个参数,一个是函数,一个是序列,map()把传入的函数依次作用于序列的每个元素,并把结果作为新的序列返回. filter()函数,接收两个参数,一个是函数,一个是序列,filter()函数是把传入的函数依次作用于每个元素,根据返回值是True还是False决定是保留还是丢弃该...

2019-06-22 17:38:42

阅读数 9

评论数 0

twisted异常处理

twisted.internet.error.CannotListenError: Couldn't listen on 119.29.148.18:6800: [Errno 99] Cannot assign requested address. 解决办法: 进入scrapyd安装路径,找到配置...

2019-06-08 09:24:35

阅读数 4

评论数 0

内网搭建本地文件夹对应的pip源

第一步:首先搭建httpd服务, yum install httpd或者下载好httpd.**.**.rpm 再执行yum install httpd.**.**.rpm mkdir -p /var/www/packages ##配置httpd服务路径 systemctl restart http...

2019-05-28 16:17:52

阅读数 8

评论数 0

Kettle 连接数据库填坑

1、使用JDBC连接mysql的时候,出现缺失mysql driver的报错. 下载链接: https://mvnrepository.com/artifact/mysql/mysql-connector-java 下载根据mysql版本下载驱动,大部分下载mysql-connect-java-...

2019-05-24 10:20:46

阅读数 9

评论数 0

python socket命令详解

socket俗称套接字,用于描述IP地址和端口,是一个通信链的句柄,应用程序通常通过"套接字"向网络发出请求或者应答网络请求 socket主要功能:用于两个程序之间数据交互,负责建立连接和传递数据. socket(family,type[,protocal])使用给定的地址族...

2019-03-31 19:14:31

阅读数 44

评论数 0

Scrapy-settings配置

# -*- coding: utf-8 -*- # Scrapy settings for step8_king project # # For simplicity, this file contains only settings considered important or # commo...

2019-03-27 18:11:38

阅读数 32

评论数 0

python scrapy模块的安装以及应用

scrapy模块的安装: 1、pip install lxml -- 安装lxml 2、下载前置模块 预先在cmd命令下执行 pip install scrapy 要是会报错,部分前置库已安装 3、升级pip python -m pip install --upgrade pip 4、下...

2019-03-14 19:25:39

阅读数 170

评论数 0

Hbase常见的操作

空间的管理: create_namespace 'test' #创建空间 drop_namespace 'test' #删除空间 alter_namespace 'test',{METHOD =>'set','PROPERTY_NAME'=>'PRO...

2019-03-11 23:07:13

阅读数 27

评论数 0

Python 爬虫基础

HTTP简介: 200/OK  请求成功 201/ 请求已被发现 202 /服务器已接收请求,但尚未处理 400/ 请求无法被服务器理解 401 /当前请求需要用户验证 403 /服务器已理解请求,但拒绝执行 404 、NotFound 元素选择器:直接选择文档元素,比如head,p类选择器:元素...

2019-01-10 14:29:06

阅读数 54

评论数 0

数据挖掘之对比分析

对比分析是把两个相互联系的指标进行比较,从数量上展示和说明研究对象规模的大小,水平的高低,速度的快慢,以及各种关系是否协调,特别适合指标的横向和纵向比较、时间序列的比较分析。在对比分析中,选择合适的对比标准是关键,选择不合适,可能会得出错误的结论. 对比形式有以下几种: 1、绝对数比较:利用绝对数...

2019-01-09 13:12:43

阅读数 137

评论数 0

mysql常用函数

字符串: 字符串转数字:  cast(字符串  as SIGNED) concat(str1,str2,...):把参数连成一个长字符串并返回(任何参数是null时返回null)  select concat('my', 's', 'ql');   #mysqllocate(substr,str)...

2018-12-25 18:04:39

阅读数 125

评论数 0

python 异常值分析

1、简单统计量分析 常用的是最大值和最小值,用来判断这个变量的取值是否超出合理的范围。2、3σ原则 正态分布中:σ代表方差,μ为平均值,x=μ即为图像的对称轴 标准正态分布概率: 数值分布在(μ—σ,μ+σ)中的概率为0.6526 数值分布在(μ—2σ,μ+2σ)中的概率为0.9544 数值分布在...

2018-12-23 13:21:46

阅读数 376

评论数 0

Hbase伪分布式安装Hadoop2.9.2_Hbase2.0.3

1、检查电脑是否安装JDK1.8,没有就安装 2、设置ssh免密登陆 首先安装openssh服务 yum install openssh-server 配置可以免密码登陆本机 ssh-keygen  -t  dsa -P '' -f  ~/.ssh/id_dsa 把id_dsa.pub(公钥)追加...

2018-12-16 23:30:07

阅读数 292

评论数 0

Hadoop几个重要的参数配置

core-site.xml 配置项 缺省值 配置说明 hadoop.tmp.dir /tmp/hadoop-${user.name} 只可以设置一个值;建议设置到一个足够空间的地方,而不是默认的/tmp下,服务端参数,修改需重启 fs.defaultFS f...

2018-12-16 22:32:07

阅读数 48

评论数 0

centos7 Apache+PHP+Mysql+phpmyadmin 配置phpmyadmin

1、安装Apache yum install httpd 安装完成之后,启动Apache systemctl start httpd #启动Apache systemctl restart httpd #重新启动Apache systemctl stop httpd #关闭Apache syste...

2018-12-14 21:48:33

阅读数 44

评论数 0

python 贝叶斯的应用

https://www.cnblogs.com/ahu-lichang/p/7157855.html

2018-12-09 12:15:37

阅读数 126

评论数 0

python 手写体数字识别

from os import listdir from numpy import * import time import operator def classify(inputPoint,dataSet,labels,k): dataSetSize = dataSet.shape[0]...

2018-12-09 11:42:49

阅读数 551

评论数 0

Python 图片处理模块之PIL

https://blog.csdn.net/zhangziju/article/details/79123275     转载地址: #从文本库中加载图片 from PIL import Image ##如果变量mode被设置,那必须是“r”。用户可以使用一个字符串(表示文件名称的字符串)或者...

2018-12-05 18:24:24

阅读数 89

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭