北京小辉的博客

学习是一种享受,也是一种痛苦,更是一种回忆!!!

排序:
默认
按更新时间
按访问量

win7上python2.7连接mysql数据库

一:安装MySQL-python驱动pip install mysql二:连接到MySQL服务器的test数据库#!/usr/bin/python # -*- coding: UTF-8 -*-import mysql.connector if __name__ == "__main__...

2017-01-13 13:55:42

阅读数:905

评论数:0

Linux:用sed命令在文本的行尾或行首添加字符

用sed命令在行首或行尾添加字符的命令有以下几种: 假设处理的文本为test.file 在每行的头添加字符,比如”HEAD”,命令如下: sed ‘s/^/HEAD&/g’ test.file在每行的行尾添加字符,比如“TAIL”,命令如下: sed ‘s/$/&TAI...

2017-01-09 20:01:42

阅读数:497

评论数:0

Linux:awk命令详解

来源:http://www.cnblogs.com/ggjucheng/archive/2012/08/18/2645321.html史上最好用的免费翻蔷利器简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把...

2017-01-09 19:56:16

阅读数:372

评论数:0

MongoDB高可用集群+MMS集群监控搭建

目录:一、 集群的三个组件:二、 集群架构图:三、 集群的IP及端口规划:四、 集群在LINUX上的目录规划:五、 开始搭建集群:六、 集群监控(mongodb-mms)备注:mongodb学习资料 http://www.runoob.com/mongodb/mongo...

2017-01-06 12:51:15

阅读数:4126

评论数:3

动态正则匹配

需求:1、写一个动态正则;2、只要写出日志的Schma就可以获取到日志的正则。package com.donews.utilimport java.util.regex.Patternimport scala.collection.mutable.ArrayBuffer/** * Create...

2017-01-05 13:13:40

阅读数:695

评论数:0

kakfa的维护:Brock停止

错误1:kakfa的Brock停止org.apache.spark.SparkException: Couldn’t find leader offsets for Set()原因:1、TopicName复制数Replication为1; 2、TopicName的Partitions一部分落在B...

2017-01-04 13:26:18

阅读数:781

评论数:0

Spark的有向无环图DAG(代码及图解)

目录:1、有向无环图2、代码结构3、代码学习步鄹及方法4、重点代码讲解5、代码展现6、运行结果1、有向无环图在图论中,如果一个有向图无法从某个顶点出发经过若干条边回到该点,则这个图是一个有向无环图(DAG图)。 因为有向图中一个点经过两种路线到达另一个点未必形成环,因此有向无环图未必能转化成树,...

2017-01-03 18:21:54

阅读数:7466

评论数:0

javaweb的request的get和post方法

package com.donews.data.httpkafka; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintW...

2017-01-03 17:05:14

阅读数:451

评论数:0

CDH配置启动flume

目录:一、如何使用flume二、进入配置管理三、关于配置文件———————————————————————————-请提前参考我的Flume博客:http://blog.csdn.net/silentwolfyh/article/category/6186343一、如何使用flume在CDH界面添...

2017-01-03 16:58:18

阅读数:2216

评论数:0

yarn资源的任务队列

需求:1、让不同的application任务,在不同的队列中运行任务2、这些队列是并行执行的,相互不干扰目录:1、队列的配置2、队列运行命令3、队列运行展现1、队列的配置2、队列运行命令3、队列运行展现

2017-01-03 16:36:22

阅读数:4251

评论数:0

hdfs空间不足的优化

目录:1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafka的日志时间4、删除本机无用文件5、清理Trash回收站6、Balancer重新平衡————————————————————————————————————————————————1、将备份数降低 1)将默认的...

2017-01-03 16:25:12

阅读数:3856

评论数:0

Linux:tar命令批量解压方法总结

由于linux的tar命令不支持批量解压,所以很多网友编写了好多支持批量解压的shell命令,收集了一下,供大家分享: 第一: for tar in *.tar.gz; do tar xvf tar;donefortarin∗.tar.bz2;dotarxvftar; done for ...

2016-12-28 16:14:27

阅读数:7238

评论数:0

HDFS 的Trash回收站功能的配置、使用

文件的删除和恢复       和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期,也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话,HDFS就会自动的把...

2016-12-28 11:40:29

阅读数:1288

评论数:0

Druid:Druid.io 部署&使用文档

参考:http://lxw1234.com/archives/2015/11/554.htm 海量数据实时OLAP分析系统-Druid.io安装配置和体验 http://druid.io/docs/0.9.2/design/design.html Druid官网搭建Druid.io 部署&...

2016-12-23 19:57:47

阅读数:6180

评论数:0

Json:scala 解析json字符串,获取多级key (2)

import com.alibaba.fastjson.JSON/** * Created by yuhui on 2016/12/20. */object Test{ def main(args: Array[String]): Unit = { val json = &quo...

2016-12-21 13:09:19

阅读数:1849

评论数:0

中国干部级别

1 正国级 5 正厅级 9 正科级 目录 2 副国级 6 副厅级 10 副科级 3 正部级 7 正处级 11 正股级 4 副部级 8 副处级2 12 总述 正国级       国家级正职(一级干部)       中共中央总书记,国家主席,...

2016-11-29 22:51:28

阅读数:756

评论数:0

Java之父求职被嫌年纪大:程序员只能吃青春饭?

硅谷常自喻为自由和开放,可近年来对那些年长的科技从业者却越来越不友好。不久前,61岁的Java之父James Gosling在Facebook上发表了他所遭遇的年龄歧视:       我曾在面试的时候被HR告知,“通常我们不招你这种年龄的程序员,但你的情况特殊(指的是他Java之父的身份),所以对...

2016-11-29 12:52:51

阅读数:2139

评论数:0

Json:javaBean转为Json的两种方式

<!--Json --> <dependency> <groupId>net.sf.json-lib</groupId> <artifactId>json-lib</artifactId> <ve...

2016-11-22 15:00:52

阅读数:541

评论数:0

Json:scala 解析json字符串,变成对象

第一种 package com.donews import com.fasterxml.jackson.databind.ObjectMapper import com.fasterxml.jackson.module.scala.DefaultScalaModule object Tes...

2016-11-22 10:31:18

阅读数:4705

评论数:0

Json:scala 解析json字符串,获取多级key

package com.donews import scala.util.parsing.json.JSONobject Test { def regixJson(json:Option[Any]) =json match { case Some(map: Map[String, An...

2016-11-22 10:18:40

阅读数:3938

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭