自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

  • 博客(143)
  • 资源 (16)
  • 收藏
  • 关注

原创 CDH5 安装过程中的一些问题总结

在安装过程中出错,或者中断,想从头再来安装的,可执行下面的一些操作: master节点:关闭server、agent /opt/cm-5.5.0/etc/init.d/cloudera-scm-server stop /opt/cm-5.5.0/etc/init.d/cloudera-scm-agent stop rm -rf /opt/cloudera/parcel-cache

2015-12-16 15:15:30 2815

原创 CM离线安装CDH5.5.0

环境准备: 本机:mac 虚拟机软件:parallels desktop 虚拟机系统:Linux-CentOS 6.5 64位 主节点:master(1台) 从节点:slave1(1台) 原先设置了俩台从节点,资源太紧张,导致各种问题。做实验只能先部署俩台了。mster节点内存最少4G,slave1最少 1G。系统准备:1. 修改主机名: vim /etc/sysconfig

2015-12-16 14:55:04 1858

原创 MAC下安装与配置MySQL

一:下载mysql 访问MySQL的官网http://www.mysql.com/downloads/ 选择Cummunity 点击download,进入下载页面(http://dev.mysql.com/downloads/mysql/) 选择需要的版本,如果你是用的Mac OS来访问的话那么就会默认为你选好了Mac OS X 平台:

2015-11-17 16:14:29 598

原创 在shell中操作mysql

mysql -h(IP地址) -u(用户名) -p(密码) -P(端口) -D(数据库) -e “sql语句”mysql -h 172.25.25.42 -uroot -pmypassword -P3306 -D wyLoging -e "update Task t set t.content='$line' where t.taskid='$5' and t.username='$4'"

2015-10-28 09:55:09 400

转载 MyEclipse 编译卡顿

优化一下MyEclipse1 、关闭MyEclipse的自动validation windows > perferences > myeclipse > validation,将Build下全部勾取消 需要验证某个文件的时候,可以单独去验证。方法是: 在需要验证的文件上( 右键 -> MyEclipse -> Run Validation 。2、 启动

2015-10-16 10:32:37 646

原创 Scala深入浅出实战经典:20,Scala中的本地函数与作为语言一等公民的函数详解

object FunctionOps { def main(args: Array[String]){ val width = args(0).toInt for(arg <- args(1)) processData(arg.toString(),width) } def processData(filename:Strin

2015-09-29 11:40:20 358

原创 Scala深入浅出实战经典:19,Scala中的正则表达式、与模式匹配结合的的Reg代码实战

object RegExpressOps { def main(args: Array[String]): Unit = { val regex = """([0-9]+) ([a-z]+)""".r val numPattern = "[0-9]+".r val numberPattern = """\s+[0-9]+\s+""".r

2015-09-29 10:51:36 392

原创 Scala深入浅出实战经典:18,Scala中文件的读取、写入、控制台输入操作代码实战

import scala.io.Sourceimport java.io.PrintWriterimport java.io.File/** * @author Lewis */object FileOps { def main(args: Array[String]): Unit = { //读取本地文件 val file = Source.from

2015-09-29 09:55:55 531 1

原创 Scala深入浅出实战经典:17,Scala中包、类、对象、成员、伴生类、伴生对象访问权限实战彻底详解

Scala包、类、对象、成员访问权限package spark{ package navigation{ private[spark] class Navigator{ protected[navigation] def useStarChart(){} class LegOfJourney{ p

2015-09-28 18:07:59 454

原创 Scala深入浅出实战经典:16,Scala中包的定义、包对象、包的引用、包的隐式引用代码实战

//包对象 package com.scala.spark package object people { val defaultName = "Scala" } package people{ //包对象中的类可以任意引用包对象内容 class people{ var name = defaultN

2015-09-28 17:42:50 431

原创 Scala深入浅出实战经典:15,Scala多重继承、多重继承构造器执行顺序及AOP实现

package com.wy.scala.oop/** * @author Lewis *///AOPtrait Action{ def doAction}trait TBeforeAfter extends Action { abstract override def doAction{ println("AAAAAAAAAa") supe

2015-09-25 17:16:59 465

原创 Scala 分布式计算数据与加减乘除 相运算

先看一个程序:def main(args: Array[String]): Unit = { val str = "spark,hadoop,scala,java" val st = str.split(",") val map = new HashMap[String,Int]() var ps = "%" var sum = 17

2015-09-25 09:53:18 3334

原创 Scala深入浅出实战经典:14,Scala中作为接口的trait、在对象中混入trait代码实战

package com.wy.scala.oop/** * @author Lewis *//** * trait 类似于java中的interface接口 */trait Logger{ //抽象方法 //def log (msg:String) //带实现的抽象方法 def log(msg:String){}}//如果只是继承一个接口,用extends关键

2015-09-17 17:35:46 485

原创 Scala深入浅出实战经典:13,抽象类、抽象字段、抽象方法

package com.wy.scala.oop/** * @author Lewis */class AbstractClassOps{ var id : Int = _ //错误写法,在普通类中 定义变量或常亮,需要赋值 //var id : Int }//定义一个抽象类abstract class SuperTeacher(val name:String){ //抽

2015-09-17 16:38:18 368

原创 Scala深入浅出实战经典:12,Scala中的继承:超类的构造、重写字段、重写方法代码实战

package com.wy.scala.oop/** * @author Lewis */class Persion1(val name:String,var age:Int){ println("The Class is father Person1") val school = "BJU" def sleep = "8 hours" override def t

2015-09-17 13:44:57 522

原创 Scala深入浅出实战经典:11,Scala中的apply实战详解

package com.wy.scala.oop/** * @author Lewis */class ApplyTest{ def apply() = println("I am into Spark so much !!!") def haveATry{ println("I want try on apply !") }}object ApplyTe

2015-09-17 12:09:03 383

原创 Scala深入浅出实战经典:10,Scala单例对象、伴生对象实战详解

package com.wy.scala.oop/** * @author Lewis *///伴生类class University{ val id = University.studentNo private var number = 0 def aClass(number:Int){this.number += number}}//伴生对象//Object里的对象全是静态

2015-09-17 11:43:01 365

原创 Scala深入浅出实战经典:9,Scala的内部类实战详解

package com.wy.scala.oop/** * @author Lewis */class Outer(val name:String){ outer =>            class Inner(val name :String){                def foo(b:Inner) = println("Outer: "+outer

2015-09-17 10:55:26 358

原创 Scala深入浅出实战经典:8,Scala主构造器、私有构造器、构造器重载实战详解

class Teacher(){//默认主构造器,无参的话可省略()}class Teacher{ var name : String _ //占位符 private var age = 27 private[this] val gender = "male" //构造器(附属构造器,附属构造器在最终形态上必定调用主构造器) def this(name:Stri

2015-09-11 18:22:45 500

原创 Scala深入浅出实战经典:7,Scala类的属性和对象私有字段实战详解

class Person { private var age = 0 def increment(){age += 1} def current = age}class Student { //var是private级别的,并且scala默认已经给声明了getter/setter var age = 0 //外部是调用不了privateAge的,只能被内部的isYounge

2015-09-11 18:09:15 421

原创 Scala深入浅出实战经典:6,Map、Tuple、Zip实战解析

视频下载地址:http://yunpan.cn/cmxUWhNukuXaM 访问密码 6790 大数据微信公众账号:DT_SparkMap操作, //> 标记是因为在scala worksheet上即时显示执行结果的标识符,类似shell命令行//定义一个可变的mapval map = scala.collection.mutable.Map("book"->10,"Run"->12,"IP

2015-09-02 14:31:28 380

原创 Scala深入浅出实战经典:5, Scala数组操作实战详解

/* *定长数组 */ val s = Array("Hello","World") //> s : Array[String] = Array(Hello, World) s(0)="GoleBye" s //> res0: Array[String] = Array(GoleBye, World) //int类型数组,是默认0 val num

2015-09-01 17:51:58 386

原创 Scala深入浅出实战经典:4、For与Function进阶实战、Lazy的使用

def main(args: Array[String]): Unit = { def addA(x:Int) = x+100 //实际应用中,不用浪费时间去给函数命名,因为它可以拿来试用,=>匿名函数 val add = (x:Int)=> x+100 //scala会自动推导类型,如x+100,不需要声明类型,递归时,需要声明 prin

2015-08-31 19:27:47 385

原创 Scala深入浅出实战经典:3,Tuple、Array、Map与文件操作入门实战

TupleOps 元组: def main(args: Array[String]): Unit = { val triple = (100,"scala","spark") println(triple._1) println(triple._2) println(triple._3) }Array数组: def main(args: Array

2015-08-31 17:00:39 370

原创 Scala深入浅出实战经典:2,Scala函数定义、流程控制、异常处理入门实战

Scala函数定义: 关键字defdef dowhile(){ var line ="" do { line = readLine() println("Read:"+line) }while(line !="") }调用:object HelloScala{def main(args: Array[String]) {

2015-08-31 15:48:31 413

转载 org.hibernate.MappingException: No Dialect mapping for JDBC type: -1 解决方法搜藏

错误代码:[c-sharp] view plaincopyorg.hibernate.MappingException: No Dialect mapping for JDBC type: -1      at org.hibernate.dialect.TypeNames.get(TypeNames.java:79)      at

2015-08-20 19:35:21 567

原创 Hbase0.98.6-CDH5.3集群搭建

CHD5.3搭建参考:以下俩种方式安装Hbase集群: 一:tar包安装 1 . Hbase安装在39/40/41/42/43/44/45/46/47节点上,所以上传hbase压缩包hbase-0.98.6-cdh5.3.0.tar.gz到39节点,配置好39再同步其他节点 2 . hbase-site.xml内容修改如下:<configuration>

2015-08-11 17:02:18 1731

原创 Spark on Yarn 环境搭建(CDH5.3)

前提条件:1. 以现线上集群为模拟环境,搭建一套CDH5.3的hadoop集群 (http://blog.csdn.net/korder/article/details/46909253) 2. 执行用户 (此处以root为执行用户,真实环境另做处理)部署:1. 启动hadoop集群,如:38节点安装的主namenode [root@JXQ-23

2015-08-11 16:27:05 1747

原创 Spark将HDFS数据导入到HBase

本程序运行环境:Spark+HDFS+HBase+Yarn hadoop(HDFS+Yarn)集群搭建,参考:http://blog.csdn.net/korder/article/details/46909253 Spark on Yarn,参考:http://blog.csdn.net/korder/article/details/47422345 HBase集群搭建,参考:hbase表结

2015-08-11 16:16:03 2360

转载 Hbase shell 常用命令

下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下:名称命令表达式创建表create ‘表名称’, ‘列名称1’,’列名称2’,’列名称N’添加记录 put ‘表名称’, ‘行名称’, ‘列名称:’, ‘值’查看记录get ‘表名称’, ‘行名称’查看表中的记录总数count ‘表名称’删除记录delete ‘表名’ ,’行名称’

2015-08-11 15:32:05 339

原创 yarn 根据applicationId查看日志

前提需要yarn开通日志聚合设置yarn logs -applicationId application_1436784252938_0022

2015-08-11 14:07:51 8329

原创 zookeeper与hbase

1,myid就是zoo.cfg里面的server.x=ip:A:B中的x。 2,如果hbase不管理zookeeper情况下,需要设置hbase-env.sh里面的export HBASE_MANAGES_ZK设置为false。 3,hbase管理zookeeper进程,和独立的zookeeper进程名字是不一样的。 引用HQuorumPeer进程是hbase管理的zookeeper

2015-08-10 19:56:09 1737

转载 【采集层】Kafka 与 Flume 如何选择

采集层 主要可以使用Flume, Kafka两种技术。Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API.Kafka:Kafka是一个可持久化的分布式的消息队列。 1. Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics。相比之下,Flume是一个专用工具被设计为旨在往HDFS,HBase发送数据。它对HDFS

2015-08-10 17:32:34 349

原创 Scala深入浅出实战经典:1,Scala开发环境搭建和HelloWorld解析

安装Scala,还有IDE工具不用介绍了,网上很多资料哦!Window环境选用Scala IDE, 新建一个ScalaInAction工程, 新建Object:HelloScala.scalapackage com.dt.scala.helloobject HelloScala { def main(args: Array[String]): Unit = { pri

2015-08-01 11:02:42 642

原创 redis的安装部署(单机)

1 . 首先安装c的编译环境: yum -y install cpp yum -y install binutils yum -y install glibc yum -y install glibc-kernheaders yum -y install glibc-common yum -y install glibc-devel yum -y

2015-07-30 11:17:51 337

原创 Spark 1.X 大数据平台V2(第四周作业)

1 . 假如数据源来自网络,数据默认会在几个node的内存中缓存住。• A. 1• B. 2• C. 3选B 当数据源来自于网络时(例如通过Kafka、Flume、sockets等等),默认的持久化策略是将数据保存在两台机器上,这也是为了容错性而设计的。2 . Spark Streaming默认持久化的级别是什么?• A. 内存+序列化• B. 内存+非序列化

2015-07-29 14:18:07 483

原创 kill掉yarn正在运行的job/app

启动一个spark streaming,一直在跑,看着烦人,直接杀掉cd /usr/lib/hadoop-yarn/bin ./yarn application -kill application_1436784252938_0013查看状态: ./yarn application -status application_1436784252938_0013

2015-07-29 12:19:29 5705

原创 Hadoop Web UI Queues参数解析

hadoop是通过队列管理集群资源,翻开集群Web UI,找到Schedule查看Queue State : queue 的状态 Used Capacity : 0.0% 已使用资源占队列配置值的百分比Absolute Used Capacity : 0.0% 已使用资源占集群的百分比Absolute Capacity : queue 至少可以使用系统资源占集群的百分比 Absol

2015-07-28 14:46:04 1256

原创 hadoop-CDH5.3 集群搭建(详细)

一. 准备工作规划: 1 . CDH5的YUM源设置:安装httpd作为http的yum源服务[root@JXQ-23-27-48 ~]# yum install httpd配置yum源(需要开通网络80端口)[root@JXQ-23-27-38 ~]# cat /etc/yum.repos.d/cloudera-cdh5.repo [cloudera-cdh5]# Package

2015-07-16 11:36:00 3815

原创 Failed to start Hadoop datanode. Return value: 1

启动某data节点失败:service hadoop-hdfs-datanode startstarting datanode, logging to /var/log/hadoop-hdfs/xxxx.outFailed to start Hadoop datanode. Return value: 1 [FAILED]vim /var/log/hadoop-hdfs/xxx

2015-07-14 11:00:08 2251

hadoop distcp

distcp一般用于在两个HDFS集群中传输数据,如果集群在hadoop的同一版本上运行,就适合使用hdfs方案: % hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar

2015-02-05

nagios监控(脚本,插件,操作文档)

包含nagios的server代码,nrpe插件全代码,还有所需全部软件包,安装使用操作文档,截图说明等。

2014-11-10

双机热备(定时,实时同步数据)

rsync的一个插件,用于实现俩台机器间的实时数据同步,另包含俩份文档,一份定时同步操作步骤,一份实时同步操作步骤

2014-11-05

WIN7虚拟机VM8下安装XP(深度技术版)

WIN8下安装亦可 VM9下安装亦可 详细操作步骤安装截图

2014-01-05

网站上传工具

经典FTP工具稳定,在网站建设时,上传代码到空间服务器或试用的虚拟空间,比较方便。

2013-12-16

windowsFTP

搭建俩台windows机器ftp功能: 把下载包里的FTP工具上传到windows服务器 安装好之后,并注册个用户,如admin,密码admin 启动ftp服务 在本地用一些ftp客户端工具,如xftp,WinSCP等... 跟服务器建立连接,密码用户就用admin OK

2013-09-17

PowerDesigner125Crack破解

破解方法: 下载 PowerDesigner12.5 后有一个 license.lic 和 pdflm12.dll 两个文件,license.lic 是用于破解序号的,pdflm12.dll 是用于替换原来安装后的文件,破解首先用 pdflm12.dll 替换安装要目录的 pdflm12.dll 文件. 然后启动PD,菜单中找到 Tools ==>> License Parameters ==>> 选第一个,然后先load找到 下载的 license.lic 文件,重启即破解完成。 备注: (如果用的是试用期到期,首先替换pdfml2.dll文件,启动PD后进入注册中心,选第一个 下一步,点load加载license.lic文件,下一步,在下拉列表中找到勾选中文,同意注册完成)

2013-09-13

QuickEasyFTPServer4.0.0服务端

需要FTP客户端的请链接:http://download.csdn.net/detail/funk4/5545977

2013-06-08

FlashFXPE_xp510破解版

FlashFXP是一款功能强大的FXP/FTP软件,集成了其它优秀的FTP软件的优点,如CuteFTP的目录比较,支持彩色文字显示;如BpFTP支持多目录选择文件,暂存目录;又如LeapFTP的界面设计。支持目录(和子目录)的文件传输,删除;支持上传,下载,以及第三方文件续传;可以跳过指定的文件类型,只传送需要的本件;可自定义不同文件类型的显示颜色;暂存远程目录列表,支持FTP代理及Socks 3&4;有避免闲置断线功能,防止被FTP平台踢出;可显示或隐藏具有“隐藏”属性的文档和目录;支持每个平台使用被动模式等。

2013-06-08

润乾报表跨域问题解决方案

在跨域访问报表时,所表现出来的具体问题是:下拉框和下拉日历一律不能点击,点击时无任何反应,且页面报脚本错误,提示:servlet拒绝访问。 出现这个错误的原因是: 报表的下拉控件中用到一个名为creatPopup()的js方法,该方法本书是拒绝跨域访问的。 js跨域问题,是在一个域下的页面中通过js访问另一个不同域下的数据对象,出于安全性考虑,几乎所有浏览器都不允许这种跨域访问。 这并非是报表产品的问题,但是对于这种情况,报表目前有一种解决办法, 具体见附件。

2013-04-26

Everything_1.2.1.37

一款非常实用文件搜索工具,体积小巧,界面简洁易用,快速建立索引,快速搜索,同时占用极低的系统资源,实时跟踪文件变化,并且还可以通过http或ftp形式分享搜索

2013-02-04

FusionCharts-v3.1破解版

基于Flash的跨平台图表组件,利用xml与swf文件结合,页面动态输出flash效果; 压缩包里面含有49个swf文件,包括常见的圆柱图、圆饼图、甘特图、3D线性图等等等(一般页面flash表现视图几乎能找到相似的)。FusionCharts中文版使用手册,属性介绍文档,操作文档等。并且还带有FusionWidgets_Trial v3.1破解版多个示例!

2013-02-04

SSHSecureShellClient-3.2.9

通过软件直接控制linux服务器 通过软件直接传文件到linux服务器,下载文件到本地windos

2013-01-25

JAVA 反编译工具jad

解压缩文件可以看到以下俩个东东; 很简单方便只需把它们放入开发IDE工具对应的目录,重启IDE即可反编译class文件 jad.exe 放入ide工具 如: C:\myeclipse\jre\bin net.sf.jadclipse_3.3.0.jar 放入ide工具 如: C:\myeclipse\plugins

2013-01-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除