- 博客(143)
- 资源 (16)
- 收藏
- 关注
原创 CDH5 安装过程中的一些问题总结
在安装过程中出错,或者中断,想从头再来安装的,可执行下面的一些操作: master节点:关闭server、agent /opt/cm-5.5.0/etc/init.d/cloudera-scm-server stop /opt/cm-5.5.0/etc/init.d/cloudera-scm-agent stop rm -rf /opt/cloudera/parcel-cache
2015-12-16 15:15:30 2813
原创 CM离线安装CDH5.5.0
环境准备: 本机:mac 虚拟机软件:parallels desktop 虚拟机系统:Linux-CentOS 6.5 64位 主节点:master(1台) 从节点:slave1(1台) 原先设置了俩台从节点,资源太紧张,导致各种问题。做实验只能先部署俩台了。mster节点内存最少4G,slave1最少 1G。系统准备:1. 修改主机名: vim /etc/sysconfig
2015-12-16 14:55:04 1857
原创 MAC下安装与配置MySQL
一:下载mysql 访问MySQL的官网http://www.mysql.com/downloads/ 选择Cummunity 点击download,进入下载页面(http://dev.mysql.com/downloads/mysql/) 选择需要的版本,如果你是用的Mac OS来访问的话那么就会默认为你选好了Mac OS X 平台:
2015-11-17 16:14:29 598
原创 在shell中操作mysql
mysql -h(IP地址) -u(用户名) -p(密码) -P(端口) -D(数据库) -e “sql语句”mysql -h 172.25.25.42 -uroot -pmypassword -P3306 -D wyLoging -e "update Task t set t.content='$line' where t.taskid='$5' and t.username='$4'"
2015-10-28 09:55:09 399
转载 MyEclipse 编译卡顿
优化一下MyEclipse1 、关闭MyEclipse的自动validation windows > perferences > myeclipse > validation,将Build下全部勾取消 需要验证某个文件的时候,可以单独去验证。方法是: 在需要验证的文件上( 右键 -> MyEclipse -> Run Validation 。2、 启动
2015-10-16 10:32:37 645
原创 Scala深入浅出实战经典:20,Scala中的本地函数与作为语言一等公民的函数详解
object FunctionOps { def main(args: Array[String]){ val width = args(0).toInt for(arg <- args(1)) processData(arg.toString(),width) } def processData(filename:Strin
2015-09-29 11:40:20 357
原创 Scala深入浅出实战经典:19,Scala中的正则表达式、与模式匹配结合的的Reg代码实战
object RegExpressOps { def main(args: Array[String]): Unit = { val regex = """([0-9]+) ([a-z]+)""".r val numPattern = "[0-9]+".r val numberPattern = """\s+[0-9]+\s+""".r
2015-09-29 10:51:36 391
原创 Scala深入浅出实战经典:18,Scala中文件的读取、写入、控制台输入操作代码实战
import scala.io.Sourceimport java.io.PrintWriterimport java.io.File/** * @author Lewis */object FileOps { def main(args: Array[String]): Unit = { //读取本地文件 val file = Source.from
2015-09-29 09:55:55 530 1
原创 Scala深入浅出实战经典:17,Scala中包、类、对象、成员、伴生类、伴生对象访问权限实战彻底详解
Scala包、类、对象、成员访问权限package spark{ package navigation{ private[spark] class Navigator{ protected[navigation] def useStarChart(){} class LegOfJourney{ p
2015-09-28 18:07:59 454
原创 Scala深入浅出实战经典:16,Scala中包的定义、包对象、包的引用、包的隐式引用代码实战
//包对象 package com.scala.spark package object people { val defaultName = "Scala" } package people{ //包对象中的类可以任意引用包对象内容 class people{ var name = defaultN
2015-09-28 17:42:50 431
原创 Scala深入浅出实战经典:15,Scala多重继承、多重继承构造器执行顺序及AOP实现
package com.wy.scala.oop/** * @author Lewis *///AOPtrait Action{ def doAction}trait TBeforeAfter extends Action { abstract override def doAction{ println("AAAAAAAAAa") supe
2015-09-25 17:16:59 465
原创 Scala 分布式计算数据与加减乘除 相运算
先看一个程序:def main(args: Array[String]): Unit = { val str = "spark,hadoop,scala,java" val st = str.split(",") val map = new HashMap[String,Int]() var ps = "%" var sum = 17
2015-09-25 09:53:18 3333
原创 Scala深入浅出实战经典:14,Scala中作为接口的trait、在对象中混入trait代码实战
package com.wy.scala.oop/** * @author Lewis *//** * trait 类似于java中的interface接口 */trait Logger{ //抽象方法 //def log (msg:String) //带实现的抽象方法 def log(msg:String){}}//如果只是继承一个接口,用extends关键
2015-09-17 17:35:46 484
原创 Scala深入浅出实战经典:13,抽象类、抽象字段、抽象方法
package com.wy.scala.oop/** * @author Lewis */class AbstractClassOps{ var id : Int = _ //错误写法,在普通类中 定义变量或常亮,需要赋值 //var id : Int }//定义一个抽象类abstract class SuperTeacher(val name:String){ //抽
2015-09-17 16:38:18 368
原创 Scala深入浅出实战经典:12,Scala中的继承:超类的构造、重写字段、重写方法代码实战
package com.wy.scala.oop/** * @author Lewis */class Persion1(val name:String,var age:Int){ println("The Class is father Person1") val school = "BJU" def sleep = "8 hours" override def t
2015-09-17 13:44:57 522
原创 Scala深入浅出实战经典:11,Scala中的apply实战详解
package com.wy.scala.oop/** * @author Lewis */class ApplyTest{ def apply() = println("I am into Spark so much !!!") def haveATry{ println("I want try on apply !") }}object ApplyTe
2015-09-17 12:09:03 383
原创 Scala深入浅出实战经典:10,Scala单例对象、伴生对象实战详解
package com.wy.scala.oop/** * @author Lewis *///伴生类class University{ val id = University.studentNo private var number = 0 def aClass(number:Int){this.number += number}}//伴生对象//Object里的对象全是静态
2015-09-17 11:43:01 364
原创 Scala深入浅出实战经典:9,Scala的内部类实战详解
package com.wy.scala.oop/** * @author Lewis */class Outer(val name:String){ outer => class Inner(val name :String){ def foo(b:Inner) = println("Outer: "+outer
2015-09-17 10:55:26 358
原创 Scala深入浅出实战经典:8,Scala主构造器、私有构造器、构造器重载实战详解
class Teacher(){//默认主构造器,无参的话可省略()}class Teacher{ var name : String _ //占位符 private var age = 27 private[this] val gender = "male" //构造器(附属构造器,附属构造器在最终形态上必定调用主构造器) def this(name:Stri
2015-09-11 18:22:45 499
原创 Scala深入浅出实战经典:7,Scala类的属性和对象私有字段实战详解
class Person { private var age = 0 def increment(){age += 1} def current = age}class Student { //var是private级别的,并且scala默认已经给声明了getter/setter var age = 0 //外部是调用不了privateAge的,只能被内部的isYounge
2015-09-11 18:09:15 421
原创 Scala深入浅出实战经典:6,Map、Tuple、Zip实战解析
视频下载地址:http://yunpan.cn/cmxUWhNukuXaM 访问密码 6790 大数据微信公众账号:DT_SparkMap操作, //> 标记是因为在scala worksheet上即时显示执行结果的标识符,类似shell命令行//定义一个可变的mapval map = scala.collection.mutable.Map("book"->10,"Run"->12,"IP
2015-09-02 14:31:28 380
原创 Scala深入浅出实战经典:5, Scala数组操作实战详解
/* *定长数组 */ val s = Array("Hello","World") //> s : Array[String] = Array(Hello, World) s(0)="GoleBye" s //> res0: Array[String] = Array(GoleBye, World) //int类型数组,是默认0 val num
2015-09-01 17:51:58 386
原创 Scala深入浅出实战经典:4、For与Function进阶实战、Lazy的使用
def main(args: Array[String]): Unit = { def addA(x:Int) = x+100 //实际应用中,不用浪费时间去给函数命名,因为它可以拿来试用,=>匿名函数 val add = (x:Int)=> x+100 //scala会自动推导类型,如x+100,不需要声明类型,递归时,需要声明 prin
2015-08-31 19:27:47 385
原创 Scala深入浅出实战经典:3,Tuple、Array、Map与文件操作入门实战
TupleOps 元组: def main(args: Array[String]): Unit = { val triple = (100,"scala","spark") println(triple._1) println(triple._2) println(triple._3) }Array数组: def main(args: Array
2015-08-31 17:00:39 370
原创 Scala深入浅出实战经典:2,Scala函数定义、流程控制、异常处理入门实战
Scala函数定义: 关键字defdef dowhile(){ var line ="" do { line = readLine() println("Read:"+line) }while(line !="") }调用:object HelloScala{def main(args: Array[String]) {
2015-08-31 15:48:31 413
转载 org.hibernate.MappingException: No Dialect mapping for JDBC type: -1 解决方法搜藏
错误代码:[c-sharp] view plaincopyorg.hibernate.MappingException: No Dialect mapping for JDBC type: -1 at org.hibernate.dialect.TypeNames.get(TypeNames.java:79) at
2015-08-20 19:35:21 567
原创 Hbase0.98.6-CDH5.3集群搭建
CHD5.3搭建参考:以下俩种方式安装Hbase集群: 一:tar包安装 1 . Hbase安装在39/40/41/42/43/44/45/46/47节点上,所以上传hbase压缩包hbase-0.98.6-cdh5.3.0.tar.gz到39节点,配置好39再同步其他节点 2 . hbase-site.xml内容修改如下:<configuration>
2015-08-11 17:02:18 1731
原创 Spark on Yarn 环境搭建(CDH5.3)
前提条件:1. 以现线上集群为模拟环境,搭建一套CDH5.3的hadoop集群 (http://blog.csdn.net/korder/article/details/46909253) 2. 执行用户 (此处以root为执行用户,真实环境另做处理)部署:1. 启动hadoop集群,如:38节点安装的主namenode [root@JXQ-23
2015-08-11 16:27:05 1747
原创 Spark将HDFS数据导入到HBase
本程序运行环境:Spark+HDFS+HBase+Yarn hadoop(HDFS+Yarn)集群搭建,参考:http://blog.csdn.net/korder/article/details/46909253 Spark on Yarn,参考:http://blog.csdn.net/korder/article/details/47422345 HBase集群搭建,参考:hbase表结
2015-08-11 16:16:03 2360
转载 Hbase shell 常用命令
下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下:名称命令表达式创建表create ‘表名称’, ‘列名称1’,’列名称2’,’列名称N’添加记录 put ‘表名称’, ‘行名称’, ‘列名称:’, ‘值’查看记录get ‘表名称’, ‘行名称’查看表中的记录总数count ‘表名称’删除记录delete ‘表名’ ,’行名称’
2015-08-11 15:32:05 339
原创 yarn 根据applicationId查看日志
前提需要yarn开通日志聚合设置yarn logs -applicationId application_1436784252938_0022
2015-08-11 14:07:51 8326
原创 zookeeper与hbase
1,myid就是zoo.cfg里面的server.x=ip:A:B中的x。 2,如果hbase不管理zookeeper情况下,需要设置hbase-env.sh里面的export HBASE_MANAGES_ZK设置为false。 3,hbase管理zookeeper进程,和独立的zookeeper进程名字是不一样的。 引用HQuorumPeer进程是hbase管理的zookeeper
2015-08-10 19:56:09 1737
转载 【采集层】Kafka 与 Flume 如何选择
采集层 主要可以使用Flume, Kafka两种技术。Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API.Kafka:Kafka是一个可持久化的分布式的消息队列。 1. Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics。相比之下,Flume是一个专用工具被设计为旨在往HDFS,HBase发送数据。它对HDFS
2015-08-10 17:32:34 349
原创 Scala深入浅出实战经典:1,Scala开发环境搭建和HelloWorld解析
安装Scala,还有IDE工具不用介绍了,网上很多资料哦!Window环境选用Scala IDE, 新建一个ScalaInAction工程, 新建Object:HelloScala.scalapackage com.dt.scala.helloobject HelloScala { def main(args: Array[String]): Unit = { pri
2015-08-01 11:02:42 642
原创 redis的安装部署(单机)
1 . 首先安装c的编译环境: yum -y install cpp yum -y install binutils yum -y install glibc yum -y install glibc-kernheaders yum -y install glibc-common yum -y install glibc-devel yum -y
2015-07-30 11:17:51 337
原创 Spark 1.X 大数据平台V2(第四周作业)
1 . 假如数据源来自网络,数据默认会在几个node的内存中缓存住。• A. 1• B. 2• C. 3选B 当数据源来自于网络时(例如通过Kafka、Flume、sockets等等),默认的持久化策略是将数据保存在两台机器上,这也是为了容错性而设计的。2 . Spark Streaming默认持久化的级别是什么?• A. 内存+序列化• B. 内存+非序列化
2015-07-29 14:18:07 482
原创 kill掉yarn正在运行的job/app
启动一个spark streaming,一直在跑,看着烦人,直接杀掉cd /usr/lib/hadoop-yarn/bin ./yarn application -kill application_1436784252938_0013查看状态: ./yarn application -status application_1436784252938_0013
2015-07-29 12:19:29 5705
原创 Hadoop Web UI Queues参数解析
hadoop是通过队列管理集群资源,翻开集群Web UI,找到Schedule查看Queue State : queue 的状态 Used Capacity : 0.0% 已使用资源占队列配置值的百分比Absolute Used Capacity : 0.0% 已使用资源占集群的百分比Absolute Capacity : queue 至少可以使用系统资源占集群的百分比 Absol
2015-07-28 14:46:04 1256
原创 hadoop-CDH5.3 集群搭建(详细)
一. 准备工作规划: 1 . CDH5的YUM源设置:安装httpd作为http的yum源服务[root@JXQ-23-27-48 ~]# yum install httpd配置yum源(需要开通网络80端口)[root@JXQ-23-27-38 ~]# cat /etc/yum.repos.d/cloudera-cdh5.repo [cloudera-cdh5]# Package
2015-07-16 11:36:00 3815
原创 Failed to start Hadoop datanode. Return value: 1
启动某data节点失败:service hadoop-hdfs-datanode startstarting datanode, logging to /var/log/hadoop-hdfs/xxxx.outFailed to start Hadoop datanode. Return value: 1 [FAILED]vim /var/log/hadoop-hdfs/xxx
2015-07-14 11:00:08 2251
hadoop distcp
2015-02-05
windowsFTP
2013-09-17
PowerDesigner125Crack破解
2013-09-13
FlashFXPE_xp510破解版
2013-06-08
润乾报表跨域问题解决方案
2013-04-26
Everything_1.2.1.37
2013-02-04
FusionCharts-v3.1破解版
2013-02-04
JAVA 反编译工具jad
2013-01-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人