曹向前-CSDN博客

原创 mapreduce实现读取hbase表数据保存到hdfs

mapreduce实现读取hbase表数据保存到hdfs参考资料 https://hbase.apache.org/book.html#mapreduce.exampleimport java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;imp...

2019-01-09 20:52:36 1620

原创欧拉回路，欧拉道路，七桥问题，Python代码实现

在欧拉道路中，进和出是对应的，除了起点和终点外，其他点的进出次数应该相等。也就是说，除起点和终点外其他各点的度数应该是偶数。如果奇点不存在，则可以从任意点出发，最终一定会回到起点，称为欧拉回路python代码实现，如果存在欧拉回路或欧拉道路则输出所有可能的路径# eulerEdges = [# (0, 1),# (0, 2),# (2, 3),...

2018-10-09 12:38:40 4303

原创拓扑排序java简单实现

import java.util.ArrayList;import java.util.Collections;import java.util.List;import java.util.Scanner;/** * 531 32 32 4581 41 22 42 34 34 53 54 1581 41 22 42 34 34 53...

2018-10-08 16:23:49 691

原创迷宫算法，宽度优先搜索Java实现

迷宫算法，宽度优先搜索Java实现import java.util.ArrayList;import java.util.List;import java.util.Scanner;/**5 51 1 0 1 10 1 0 1 00 1 1 1 00 0 1 1 01 0 1 1 1 * */public class BfsTest { // 迷宫，0：墙， 1：...

2018-10-04 12:00:11 942

原创 caused by: java.lang.NoSuchMethodError: com.fasterxml.jackson.core.JsonFactory.requiresPropertyOrder

18/08/28 22:02:35 ERROR MetricsSystem: Sink class org.apache.spark.metrics.sink.MetricsServlet cannot be instantiated18/08/28 22:02:35 ERROR SparkContext: Error initializing SparkContext.java.lang.r...

2018-08-28 22:12:27 2274

原创 Maven构建spark工程，scala和java混合编码

新建普通java maven工程，修改pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schema...

2018-08-28 20:21:34 420

原创 wordCount（scala版本）

scala实现wordcountscala&gt; val str = "a,b,c,a,b,f";str: String = a,b,c,a,b,fscala&gt; val word = str.split(",")word: Array[String] = Array(a, b, c, a, b, f)scala&gt; val wordMap = word.map(

2018-06-21 13:46:24 515

原创 Linux简单安装SVN SERVER(subversion)

安装svn服务器// 查看是否安装svnrpm -qa | grep subversion// 安装svnyum install subversion.x86_64 -y// 设置防火墙，开放svn的默认端口3690firewall-cmd --zone=public --add-port=3690/tcp --permanent创建一个svn仓库[svn@caox...

2018-04-15 07:56:25 356

原创 scala函数和方法

方法// def是声明方法的关键字，hello方法名，str:String参数和类型，:Unit返回值类型，= 用于连接方法签名和方法体scala> def hello(str: String): Unit = { | println("hello" + str) | }hello: (str: String)Unitscala> hello...

2018-04-10 20:33:19 1300

原创 scala学习

条件表达式一个条件表达式是有返回值的scala会自动推断表达式的返回类型scala> val a = if(true) "true"a: Any = truescala> val a = if(true) "true" else () // 如果不写else则返回默认的()a: Any = truescala> val a = () // 验证Unit...

2018-04-01 20:36:29 110

原创 Scala数据类型

scala数据类型Any是所有类型的父类型，其两个子类型是AnyVal和AnyRef(java.lang.Object)AnyVal代表值类型，scala有九种值类型，它们不可为空值，分别是：Double, Float, Long, Int, Short, Byte, Unit, Boolean, Char。Unit类似java中的void，scala的函数必须返回一些东西，当返回的东西没...

2018-03-31 21:00:38 217

原创 hello world第一个scala程序

第一个scala hello world程序新建一个文件Hello.scalaobject Hello { def main(args:Array[String]){ println("Hello world.") }}编译scalac Hello.scala使用scala命令运行scala Hello使用ja...

2018-03-31 19:53:44 215

原创 Scala笔记

Scala特性代码简洁函数式编程，同样也支持面向对象开发速度快能融合到hadoop生态圈Spark,flink都是使用scala开发变量声明scala 中可以使用val 和 var 声明变量使用val声名的变量是不可变的，类似java中final修饰的变量使用var是可变的变量的类型可以省略，scala会自动推导val a = 1;val b:Int =...

2018-03-31 18:23:57 148

原创使用Scala实现Spark wordcount统计

使用Scala实现Spark wordcount统计sc.textFile("./ml-1m/movies.dat").flatMap(line => line.split("::")).map(word => (word,1)).reduceByKey((v1,v2) => v1 + v2).collect// 两者实现的功能一样，只是写法不同sc.textFil...

2018-03-31 14:02:13 1285

原创 Hadoop完全分布式安装，仅供学习测试

Hadoop完全分布式安装，仅供学习测试Hadoop版本：hadoop-2.6.0-cdh5.13.1 http://archive.cloudera.com/cdh5/cdh/5/安装环境，使用 VMware虚拟三台虚拟机，并安装Java环境：CentOS Linux release 7.4.1708 (Core) Linux hadoop1 3.10.0-693.5.2.

2018-01-21 18:28:03 255

原创 ssh不能免密码登录

ssh不能免密码登录在ssh免密码配置正确的情况下，无法直接登录,我的原因是：hadoop用户目录的权限被改了，用户在被创建时，其用户目录的默认权限是700修改目录权限chmod 700 /home/hadoop本想重现这个问题，竟然无法重现了，还不知道是为什么。

2018-01-20 15:17:22 421

原创 Centos7/linux Dsl无法联网，帐号密码都正确，解决方法

安装rp-pppoeyum install rp-pppoe安装之后，新建一个dsl连接，输入帐号，密码就可以了！我的系统是Centos7(kde桌面)，其他的linux系统应该都差不多。

2015-07-30 20:21:37 857

转载转载

CentOS有线无法上网解决办法 http://www.centoscn.com/CentosBug/osbug/2014/0619/3161.html

2015-07-22 22:41:49 375

原创 001.hello perl

2015-07-21 12:38:58 320

原创 struts2 json includeProperties返回list为空

经过测试，以下配置可以得到json字符串<result name="departListJson" type="json"> <param name="root">list</param> <param name="includeProperties"> \[\d+\]\.id, \[\d+\]\.name </param></result>

2015-06-28 00:38:55 425

原创在centos7上以rpm方式安装mysql5.6.24

1.安装环境CentOS版本：CentOS-7[root@localhost usr]# cat /etc/redhat-releaseCentOS Linux release 7.0.1406 (Core)下载地址：http://www.centos.org/MySQL版本：MySQL-5.6.22来源：官网下载下载地址：https://edelivery.oracl

2015-04-19 13:54:45 4586

自由的云