- 博客(37)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Python 监控Oracle alert log
import ioimport datetimeimport timeimport tracebackDayList=['Sun','Mon','Tue','Wed','Thu','Fri','Sat']KeyWordList=['ORA-','Error','Starting ORACLE instance','Shutting down instance']SkipOldEven
2016-08-26 11:02:23
2035
原创 给想测试spark memory_and_disk 存储级别的人的一个忠告
生成的测试文件一定要有换行符啊，如果只有一整行就要呵呵了。因为源码里是readline()
2016-08-23 14:31:21
3426
2
原创 tushare数据格式转为PyalgoTrade所需格式
# -*- coding: utf-8 -*- import tushare as tsimport pandas as pddata = ts.get_hist_data("159915")data.to_csv("159915-tmp.csv")df = pd.read_csv('159915-tmp.csv') df2 = pd.DataFrame({'Date Time'
2016-08-22 21:43:20
1580
1
原创 spark从入门到放弃 之 分布式运行jar包
scala代码如下：import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._/** * 统计字符出现次数 */object WordCount { def main(args: Array[String]) {
2016-08-22 16:04:26
8354
2
原创 Spark 从入门到放弃 之 quick start
使用spark shell进行交互式分析上传一个文件到hdfs上的如下目录/user/hdfs/-bash-4.1$ hadoop fs -put README.md /user/hdfs/-bash-4.1$ hadoop fs -ls /user/hdfsFound 3 itemsdrwxr-xr-x - hdfs supergroup 0 2016-
2016-08-21 16:10:32
1455
原创 CDH Hadoop 5.5.4 安装配置 完整记录
一、Cloudera Manager/CDH51．关于cloudera manager和CDH是什么，这里不做详细介绍了。2．官网的安装指南官方文档提供了三种安装方式： 在线自动安装/手动安装包安装/手动使用cloudera manager管理安装 此处使用第三种方式安装hadoop集群。 二、环境规划1．系统：CentOS 6.4_x86 master：4
2016-08-20 13:11:54
2754
转载 jps 报process information unavailable解决办法
jps时出现如下信息：4791 -- process information unavailable解决办法：进入tmp目录，cd /tmp删除该目录下名称为hsperfdata_{username}的文件夹然后jps,清净了。
2016-08-19 21:49:08
868
原创 linux kill %1 是什么意思
[root@new55 ~]# tail -f install.log。。。。。。。。。。。。。。。。。。。。。。Ctrl+Z[1]+ Stopped tail -f install.log[root@new55 ~]# kill %1[root@new55 ~]# kill %1-bash: kill: (3379) - 没有那个
2016-08-17 14:55:08
4385
原创 Python函数式编程之map() reduce()
mapPython函数式编程之map使用（一个seq）# 使用mapprint map( lambda x: x%3, range(6) ) # [0, 1, 2, 0, 1, 2] #使用列表解析print [x%3 for x in range(6)] # [0, 1, 2, 0, 1, 2]Python函数式编程之map使用（多个seq）print m
2016-08-17 11:43:54
300
原创 运行hadoop fs -ls 命令显示本地目录问题
环境CentOS6.4 CDH5.2安装完成后发生如下问题[hdfs@hadoop01 ~]$ hadoop fs -ls /Found 25 items-rw-r--r-- 1 root root 0 2016-08-17 10:47 /.autofsckdr-xr-xr-x - root root 4096 2016-
2016-08-17 11:14:20
8349
转载 “去IOE” 之 MySQL与PostgreSQL的抉择
前言上周参加了2015年的中国数据库大会，差不多从第二届开始就每年都会北京参会，从最早的嘉宾到这次的会场主持人，也算见证了中国数据库大会的发展吧。记得最早的时候大会只有两天，分会场也比较小，而现在各种大会变为了三天，分会场也越来越细化，赞助商也从以前的出版社演变为各种高大上的软硬件公司，这是主办方的成功，也是整个数据库从业人员的骄傲。然而，这次会议讨论的最多的依然是去IOE问题，但是原来的主角
2016-08-16 11:58:37
1841
1
原创 /usr/bin/python^M: bad interpreter: No such file
今天在WingIDE下写了个脚本，传到服务器执行后提示：-bash: /usr/bin/autocrorder: /usr/bin/python^M: bad interpreter: No such file or directory分析：这是不同系统编码格式引起的：在windows系统中编辑的.sh .py文件可能有不可见字符，所以在Linux系统下执行会报以上异常信息。一
2016-08-11 09:59:09
722
原创 Hadoop windows 本地执行Mapreduce 报错 Error while running command to get file permissions
package cn.hadoop.mr.flowsum;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.ma
2016-08-09 17:16:26
10493
5
原创 hadoop从入门到放弃（一）之flume获取数据存入hdfs
一、解压flume到/hadoop/目录下tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /hadoop/二、配置flume配置文件[hadoop@hadoop01 flume]$ cat conf/agent1.conf# Name the components on this agentagent1.sources = spo
2016-08-09 16:49:14
3560
原创 Flume采集数据到HDFS时，文件中有乱码
参数hdfs.fileType 默认值SequenceFile 参数描述File format: currently SequenceFile, DataStream or CompressedStream(1)DataStream will not compress output file and please don’t
2016-08-09 16:24:03
6310
原创 java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
解决方案如下：配置文件中添加如下内容a1.sinks.k1.hdfs.useLocalTimeStamp = true
2016-08-09 16:16:04
4514
2
原创 理解flume hdfs sink round 和roll
我们在配置flume hdfs sink 的时候注意这两个配置项，比如：collector1.sinks.sink_hdfs.hdfs.rollSize = 2048000000 collector1.sinks.sink_hdfs.hdfs.rollCount = 0 collector1.sinks.sink_hdfs.hdfs.rollInterval = 21600coll
2016-08-09 15:49:08
2729
原创 PL/SQL developer 中文乱码终极解决方案
1. 先查询oracle所用的编码select userenv('language') from dual;2. 设置PLSQL 的所用编码为第1步查询得到的编码格式新建一个环境变量： NLS_LANG例如：3. 重启 PLSQL 问题得到解决
2016-08-08 16:39:47
612
原创 关于Oracle DataGuard 同步 还是 异步 的问题
DG既可以同步，也可以异步。DG有三种模式：最大保护 是同步最大性能 是异步最高可用 能同步就不异步，不能同步时才会异步。
2016-08-05 11:39:02
3745
转载 数据挖掘编程语言选择(Python与R的PK）
数据挖掘技术日趋成熟和复杂，随着互联网发展以及大批海量数据的到来，之前传统的依靠spss、SAS等可视化工具实现数据挖掘建模已经越来越不能满足日常需求，依据美国对数据科学家（datascientist）的要求，想成为一名真正的数据科学家，编程实现算法以及编程实现建模已经是必要条件；目前很多从事数据挖掘工作的人，大多都是出身非计算机专业，本身对编程基础比较低，所以找到一门快速上手而又高效的编程语言是
2016-08-04 16:08:56
3291
原创 Oracle linux内核参数设置详解
kernel.shmmax = 274877906944该参数定义了共享内存段的最大尺寸（以字节为单位）。Shmmax是核心参数中最重要的参数之一，用于定义单个共享内存段的最大值，shmmax设置应该足够大，能在一个共享内存段下容纳下整个的SGA ,设置的过低可能会导致需要创建多个共享内存段，这样可能导致系统性能的下降。SHMMAX仅仅是在共享内存段被创建的时候用来比较的一个数字
2016-08-04 14:27:38
1757
原创 python threadpool 多参数处理
#----------------------------------------------------------------------def hello(m, n, o): """""" print "m = %s, n = %s, o = %s"%(m, n, o) if __name__ == '__main__': # 方法1
2016-08-03 16:30:42
2705
原创 Python xml.dom.minidom nodeValue 始终返回none
parent.getElementsByTagName("Url")[0].nodeValue返回空：none当如下情况：parent.getElementsByTagName("Url")[0].toxml()返回：www.something.com解决方案如下：parent.getElementsByTagName('Url')[0]
2016-08-03 14:51:15
2315
1
原创 Hive 报错 java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.ppd.ExprWalkerInfo.getConvertedNode
系统环境：Hadoop 2.6.0Hive 1.1.1JDK 1.7.0_60操作系统：CentOS 6.4报错信息：在Hive中执行创建表,导入数据,不带where语句的查询都没有问题。但是带where语句时报错, 如下：hive (timezipper)> SELECT orderid,createtime,modifiedtime,status
2016-08-03 11:29:12
1501
原创 Hadoop如何修改HDFS文件存储块大小
在hdfs-site.xml配置文件里加上如下内容：dfs.blocksize2048dfs.namenode.fs-limits.min-block-size2048然后重启hadoop集群，新上传的文件就以2MB的块大小存储了
2016-08-03 10:20:17
2864
原创 解决hive启动时报错 Found class jline.Terminal, but interface was expected
解决方案：可以备份并且移除 $HADOOP_HOME/share/hadoop/yarn/lib/ 下的jline-0.9.94.jar文件，它与beeline的依赖产生冲突。
2016-08-02 13:50:35
714
原创 Hadoop真·高可用集群模式（7节点）环境搭建
Hadoop真·高可用集群模式环境搭建 目录一、 安装centos6.4 x86_64虚拟机7台； 11． 修改Linux主机名 12． 修改IP 13． 修改主机名和IP的映射关系 14． 关闭
2016-08-02 11:29:20
3751
原创 CentOS 报错 Device eth0 does not seem to be present
在VMware里克隆出来的CentOS Linux。。ifconfig...没有看到eth0.。然后重启网卡又报下面错误。故障现象：service network restartShutting down loopback insterface:
2016-08-01 17:56:53
500
转载 VirtualBox 文件（.vdi）修改UUID
vdi 文件复制完毕后并不能立刻使用，而是需要修改uuid;1 找到VBoxManage.exe 所在安装路径 如 \Program Files\Oracle\VirtualBox;2 打开CMD命令行工具；3 cd 到VBoxManage.exe所在路径如 \Program Files\Oracle\VirtualBox;；4 敲入指令 VBoxManage internalco
2016-08-01 15:58:00
2994
转载 -bash: scp: command not found问题解决
今天用scp远程传输资料，报错如下：-bash: scp: command not found在网上搜资料解决办法如下：安装scp的软件包：# yum install openssh-clients安装完毕本以为就可以了，在执行scp 后又报错如下：[root@localhost ~]# scp ./mysql-5.5.28.tar.gz r
2016-08-01 15:34:41
1902
原创 VBox增强工具安装
安装之前打上这些包，否则会报错。yum install -y gcc gcc-devel gcc-c++ gcc-c++-devel make kernel-devel
2016-08-01 15:28:46
669
转载 CentOS-Base.repo
# CentOS-Base.repo## The mirror system uses the connecting IP address of the client and the# update status of each mirror to pick mirrors that are updated to and# geographically close to the clien
2016-08-01 15:26:17
2112
hyperledger-fabric-linux-amd64-1.1.0.tar.gz
2018-03-19
hyperledger-fabric-ca-linux-amd64-1.1.0.tar.gz
2018-03-19
操作系统以及数据库风险评估报告
2015-11-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人