当前搜索:

[置顶] Linux基本命令行

新建用户:useradd [用户名]; 修改用户名:usermod -l(注:字母L的小写) [想要的用户名] [已存在的用户名] 修改完用户名之后,必须修改其group的名称。 修改group名称:groupmod -n [newGroupName] [presentGroupName] 删...
阅读(28) 评论(0)

[置顶] Java中常见问题

Java中的this用法 this 表示当前对象的意思。什么叫当前对象?就是你new出来时的那个对象。 三元表达式使用例子简介? public class helloworld { public static void main(String args[]){ ...
阅读(22) 评论(0)

[置顶] 阅读过程中若有指导意见,请评论或者联系作者,谢谢。

告读者书
阅读(380) 评论(0)

Java实战之生成电信公司的通话记录

Java案例实战 一.Java实战之生成电信公司的通话记录 1.代码 package com.enmonster.LittleLawson; import java.io.*; import java.text.ParseException; import java.text.Si...
阅读(2) 评论(0)

kafka的安装与简单使用

1.what is kafka? kafka作为缓存数据的系统,供消费者从缓存的数据中读取。 2.如何安装? 因为kafka需要使用到zookeeper来保持集群的稳定性,所以需要使用到zookeeper。 - 下载zookeeper - 安装zookeeper见文章: - 下载...
阅读(13) 评论(0)

kafka Address already in use

安装kafka时,报错:Address already in use 1.可能的原因是:在安装zookeeper之后,又开启了zookeeper的server和client。然后又继续安装kafka,而kafka有继续开启zookeeper,导致重复使用端口报错。 2.解决方法,停止使用zoo...
阅读(12) 评论(0)

Scala基本方法使用

Scala基本方法使用 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.storage.StorageLevel import s...
阅读(9) 评论(0)

SparkSql基础实战

SparkSql基础实战 1.源码如下: import org.apache.spark.examples.sql.SparkSQLExample.Person import org.apache.spark.sql.{DataFrame, DataFrameReader, Dataset, ...
阅读(15) 评论(0)

Centos 6.5下安装Mysql

Centos6.5下安装MySQL 查看是否有安装 rpm -qa | grep mysql 删除包 rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 所需要的安装包有:【可以从mysql的官网下载】 mysql-community-co...
阅读(7) 评论(0)

SparkSession中出现Exception in thread "main" java.lang.AbstractMethodError

1.使用SparkSession时,出现异常:Exception in thread "main" java.lang.AbstractMethodError 2.查看pom.xml文件,是否是因为spark-core和spark-sql的版本不匹配导致? ...
阅读(14) 评论(0)

Spark学习笔记之二

Spark学习笔记之二 一.RDD的五个基本特征 A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collection o...
阅读(16) 评论(0)

Spark中读写mysql数据库

Spark中读写MySQL数据库 一.使用Intellij编写Spark程序读取MySQL数据库 1.在windows系统中,安装有mysql数据库。主要情况如下: mysql> show databases; +------------------------...
阅读(24) 评论(0)

SQL语句的case-when-end语句

SQL语句的case-when-end语句 1.什么情况下需要使用case-when-end语句? 当需要依据条件的取值而决定某值的选择时,可以使用case-when-end语句 2.给出一个示例 准备工作:新建一个数据库,注意字符串为utf8模式 create table co...
阅读(12) 评论(0)

如何关闭Intellij中双击shift键打开SearchEveryWhere窗口?

如何关闭Intellij中双击shift键打开SearchEveryWhere窗口? 1.进入Intellij的安装目录,本机如下:D:\Program Files\JetBrains\IntelliJ IDEA 2017.2.6\lib找到resources.jar文件,使用好压等解压软件打开...
阅读(10) 评论(0)

Scala中的集合

Scala中的集合 一.Scala中的List 1.::方法 def ::(x: A): List[A]在列表开头添加元素 示例代码: scala> val list = List(1,2,3,4,5) list: List[Int] = List(1, 2...
阅读(9) 评论(0)

Spark案例实战

一.计算最受欢迎的老师 1.项目需求:现有某网络上的访问日志,现需要计算某一学科下被访问次数最多的老师。 2.网络的url如右:http://bigdata.xiaoniu.com/laozhaobigdata表示学科,laozhao表示教师。 3.代码如下: import java....
阅读(35) 评论(0)

在Windows上使用Intellij编写Spark程序访问文件

在Windows上使用Intellij编写Spark程序访问文件 访问txt文件 1.使用Spark访问的文件类型有很多种,包括txt,csv,json等。下面依次使用做访问 2.本程序使用maven+intellij+spark+windows编写 访问.txt文件 imp...
阅读(18) 评论(0)

在Spark-shell中写程序出现error:not found :value StorageLevel

1.具体环境如下: 在Centos 6.5系统,使用Spark-shell编写Scala程序,使用RDD的persist方法时,出现报错如下: <console>:27: error: not found: value StorageLevel 2...
阅读(11) 评论(0)

Spark中RDD的常见方法

Spark中RDD的常见方法 一.集合中的常见方法 1.union(),求出两个RDD的并集 2.intersection(),求出两个RDD的交集 3.subtract(),求出去除某个RDD中所有元素外的元素 4.这些集合的方法适合所有类型相同的RDD,【这些元素可以是数字,可以...
阅读(22) 评论(0)

xml文件中的大小写符号引起的解析失败

1.处理xml文件中的大小写符号引起的解析失败: <?xml version="1.0" encoding="utf-8" ?> <p>...
阅读(7) 评论(0)
    个人资料
    持之以恒
    等级:
    访问量: 10万+
    积分: 4189
    排名: 9395
    博客专栏
    最新评论