想做架构师-CSDN博客

原创剑指Offer 替换空格

请实现一个函数，将一个字符串中的每个空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。！！！不要傻乎乎的要replaceAll()public class Solution { public String replaceSpace(StringBuffer str) { int length = ...

2019-01-03 22:09:19 177

原创剑指Offer 从尾到头打印链表

输入一个链表，按链表值从尾到头的顺序返回一个ArrayList /*** public class ListNode {* int val;* ListNode next = null;** ListNode(int val) {* this.val = val;* }* }**...

2019-01-03 22:06:17 210

原创剑指Offer 二维数组中的查找

在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。时间限制：1秒空间限制：32768K public boolean Find(int target, int [][] array) { int row...

2019-01-02 22:39:03 195

原创剑指Offer 数组中重复的数字

在一个长度为n的数组里的所有数字都在0到n-1的范围内。数组中某些数字是重复的，但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。例如，如果输入长度为7的数组{2,3,1,0,2,5,3}，那么对应的输出是第一个重复的数字2。时间限制：1秒空间限制：32768K 解题思路：第一句话中特别强调所有数字都在0到n-1的范围内，...

2019-01-02 21:14:04 119

原创 Spark 操作jdbc csv json parquet格式文件

1.jdbc文件以及保存到各种格式package cn.edu360.day7import java.util.Propertiesimport org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}/** * Created by ls on 2018/10/1. */object JdbcDataSo...

2018-10-09 10:39:07 465

原创 Spark 几何平均数自定义函数UDAF

package cn.edu360.day7import java.lang.Longimport org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spark.sql.types.{StructField, _}impo...

2018-10-09 10:03:42 295

原创 Spark ip归属地查询

sql查询方式import org.apache.spark.sql.SparkSessionobject IPLocationSQL { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("ipSql").master("local[*]").getOrCre...

2018-10-09 09:41:07 489

原创 SparkSQL WordCount

import org.apache.spark.sqlimport org.apache.spark.sql.{Dataset, SparkSession}object SparkSQL2 { //常规写法// def main(args: Array[String]): Unit = {// val spark = SparkSession.builder().app...

2018-10-08 17:29:37 1706

原创 SparkSQL 1.x写法

1.创建SparkContext2.创建SQLContext3.创建RDD4.创建一个类，并定义类的成员变量5.整理数据并关联class6.将RDD转换成DataFrame（导入隐式转换）7.将DataFrame注册成临时表8.书写SQL（Transformation）9.执行Actionpackage cn.edu360.day6import org.apache.sp...

2018-10-08 16:16:21 224

原创 Spark 序列化问题

spark中在driver端实例化的类必须继承Serializable，而executor端的类没有此要求（driver端需要通过网络发到executor中）。但在excuter中进行实例化会造成内存浪费（一个task实例化一次）。解决1：将类继承接口写在driver端中。（有不能实现序列化的类）解决2：写成Object类型，在driver端获取，在execut...

2018-10-08 15:15:30 558

原创 Spark TopN

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://

2018-10-04 13:00:38 418

原创 Spark WordCount

1.lamabda编写spark package cn.edu360.spark;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api....

2018-10-01 21:22:59 210

原创 Scala 模式匹配与样例类

可以匹配的类型： 1）匹配内容 //这里的=>不是函数，在这里表示模式匹配，如果匹配上则执行这里的业务逻辑 //类比法 JAVA : switch case object CaseDemo01 extends App { val arr = Array("tom", "mike", "hello") val i = Random...

2018-09-15 08:23:32 347

原创 Scala 可变数组与不可变数组

（*）数组 java中的集合都是可变集合在scala中集合分为可变集合和不可变集合不可变数组默认可以使用长度不可以改变，内容可以改变可变数组必须引用：import scala.collection.mutable.ArrayBuffer #添加一个元素 scala> arrBuffer += 10 res5: arrBuffer.ty...

2018-09-13 15:21:28 1381 1

原创 Scala 继承与多态与trait

1）scala中，让子类继承父类，与java一样，使用extends关键字 2）继承就代表，子类可以从父类继承父类的field和method，然后子类可以在自己内部放入父类所没有，子类特有的filed和method，使用继承可以复用代码 3）子类可以覆盖父类的filed和method，但是要注意的是final关键字，代表field和method无法覆盖 4）子类中的方法要覆盖父类中的...

2018-09-13 14:46:44 1409

原创 Scala apply关键字不通过new获取实例

1）当不是new关键字来创建对象的时候，使用apply可以使我们的代码更简洁 class Person { var name: String = _ var age:Int = 0 } object Person{ def apply(name:String): Person = { val person = new Person person.n...

2018-09-13 14:38:33 732

原创 Scala 构造器单例模式

1）主构造器 * 在scala中，主构造器是于类名放在一起的，有且只有一个，于Java不同，java可以写多个构造方法，多个构造方法间实现重载 * 在类中，没有定义在任何方法中的代码（包括成员字段），都属于主构造器的代码，且执行顺序于代码书写的顺序是一致的，其实与java一样 * 在java中方法之外的代码（成员及代码块），...

2018-09-13 14:36:29 229

原创 Scala 匿名函数做参

object Demo { def main(args: Array[String]): Unit = { val funcao = (name: String) => println(s"${name},你好") greeting("马总",funcao) greeting("李总",name=>println(s"${name} ，好")) g...

2018-09-12 09:49:29 276

原创 Scala WordCount

1.最基本的WordCount var arr3 = Array("HIVE SPARK", "scala SPARK HBASE", "ZOOKEEPER","HIVE SPARK", "scala SPARK HBASE", "ZOOKEEPER") var arr4=arr3.flatMap(x => x.split(" "))

2018-09-11 15:41:28 621

原创 Scala函数参数求值策略

call by value 对函数的实参求值，并只求值一次举例：def test1(x:Int,y:Int):Int=x+x call by name:函数的实参每次在函数体内部被调用的时候，都会进行求值实践：...

2018-09-11 11:33:37 252

原创 Scala 函数与方法的区别及简单用法

package scalaimport scala.util.control.Breaksobject IfDemo { def main(args: Array[String]): Unit = { // val x = -1 // val y=if(x>0) 1 else if (x == -1) 0 else -1 // ...

2018-09-11 09:53:11 1105

原创 Linux Shell

大三时老师要求二百行shell编程交作业#!/bin/sh function delUser(){i=1 while [ $i -le 50 ] do userdel -r stud${i} echo "删除$i个账号"i=$(($i+1 )) done }function addClass(){i=1 groupadd class1 while...

2018-09-07 08:56:29 203

原创 HBase MapReduce

package nuc.edu.ls;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Mutation;impor...

2018-09-06 10:51:07 126

原创 Hbase JavaAPI

package nuc.edu.ls;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.H...

2018-09-04 16:57:14 120

原创 Zookeeper 监控服务上下线

package nue.edu.ls;import java.io.IOException;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.WatchedEvent;import org.apache.zook...

2018-09-04 14:28:41 1195

原创 Zookeeper JavaAPI

package nue.edu.ls;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper...

2018-09-03 14:06:25 142

原创 ZooKeeper 命令行操作

create -s path data创建一个顺序节点。例如 create -s /a "www"，得到的是/a23132，后面会加数字标识标识顺序create -e path data创建临时节点，在关闭会话以后临时节点会删除create path data创建永久节点set path data修改节点的内容get path [watch]得到所有节点的名字...

2018-09-03 10:20:33 179

原创 Zookeeper 安装

简化：1：集群时间同步https://blog.csdn.net/qq_39184715/article/details/819757382：上传文件，解压 tar -zxvf xxxxxx -C /usr/local/3：修改zoo.cfg(拷贝zoo_sample.cfg)dataDir=/usr/local/zookeeper*/data //这里*需要补全为全部名字...

2018-09-03 09:51:24 9281

原创 Hive 小知识

CTAS建表语法1.通过以存在的表建表（类似与复制）create table t_user1 like t_user22.在建表的时候插入数据create table t_user1 asselect * from t_user2数据导入导出方式1：导入数据的一种方式：手动用hdfs命令，将文件放入表目录；方式2：在hive的交互式shell中用hi...

2018-09-01 15:09:45 149

原创 Hive 电影topN

数据：{"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"}{"movie":"661","rate":"3","timeStamp":"978302109&quot

2018-09-01 14:48:30 666

原创 Hive 查找app每天的新增用户

新增用户思路：1：抽取出来当天活跃用户 etl_user_active_day,2: 拿当天活跃用户跟历史用户做对比（得出当日的新增用户）3：增加新增用户到历史记录表里面4：对当日新增用户进行各维度统计/** 历史用户表 **/create table etl_history_user(uid string);/** 创建一个每日新增用户表 **/create...

2018-08-31 15:12:00 2872

原创 Hive 茄子快传案例

多维度统计分析茄子快传用户信息数据截图：1.MR编程，将JSON数据转化，剔除脏数据，上传到Linux的package nuc.edu.ls;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.conf.Configuration;...

2018-08-31 09:21:17 931

原创 Hive 查询有连续三天销售记录的销售报表

数据：求解思路：使用row_number函数打标记根据shopid分区，以time升序排列，根据date_sub(to_date(time),flag)生成对应日期比如A分区中的五号标记和六号标记，如果根据data_sub生成的日期是一致的，那么这两天就是相邻的 eg: 五号标记 2015-3...

2018-08-30 11:24:10 1914

原创 Hive 级联报表查询

数据：需求：查询每人每月的盈利以及当年至当月的累计利润实现： 1.建表导入数据2.先统计出每月的利润 3.查询结果自连接，条件：一表的月份大于等于二表的月份（累计求出各个月份的总利润）select t1.name,t1.month,t1.allincome, sum(t2.allincome)from(select name,substr(time,...

2018-08-30 10:19:25 827

原创 Hive 复合类型存储

arrays: ARRAY<data_type> ) 示例：array类型的应用假如有如下数据需要用hive的表去映射：战狼2,吴京:吴刚:龙母,2017-08-16 三生三世十里桃花,刘亦菲:痒痒,2017-08-20 设想：如果主演信息用一个数组来映射比较方便建表：create table t_movie(moi...

2018-08-29 08:35:26 245

原创 Python 生成验证码图片

使用pillow生成验证码图片其中的Arial.ttf可以百度下载from PIL import Image,ImageDraw,ImageFont,ImageFilterimport randomdef getChar(): return chr(random.randint(65,90))def getColor(): return (random.ra...

2018-08-28 16:59:13 5248

原创 Hive 外部表内部表分区表

1.先启动集群，在开启hive服务start-all.shnohup hiveserver2(后台运行，可以重定向输出到制定文件）2.使用beeline连接数据库注意！3.创建内部表create table t_inside(ip string,url string,time string)row format delimited fields terminate...

2018-08-28 16:01:34 299

原创 Hive安装与配置（需搭建好hadoop集群）

hive的安装1：上传解压hive tar -zxvf ***** /usr/local/2：安装mysql，添加开机自启 chkconfig mysql on3：配置hive-site.xml 在安装目录/conf下新建，粘贴下面这段代码（高版本mysql需要ssl）<configuration><property>&l...

2018-08-28 10:38:42 1899

原创 Java关键字 static

刚才上网的时候看到一个很逗的帖子大致如下：为什么空对象可以调用米方法，而不可以调用Ñ方法。很简单，静态的关键字，即静态的意思。被静态修饰的，先于类创建，随着类的销毁而销毁。更与对象无关。所以空对象，调用也会成功，且调用静态方法，不需要对象名。方法名的形式，而是类名。方法名的方式，此举虽然没错，也是脱裤子放屁。被静态修饰的，还有一个特性，即不同地方的状态保持一致...

2018-08-27 17:17:34 189

原创 MapReduce setup map(reduce) cleanup示例

继承Mapper类可以重写三个方法 1.setup 每一个map在创建时执行的方法，也就是说该方法只执行一次，一般用来做一些准备工作，如获得文件名等2.map 真正执行分类操作的方法。3.cleanup在map完成任务销毁时执行的方法，也只执行一次，一般用来做一些收尾工作这三个方法都可以像reduce传送数据代码取每个电影二十条数据(排序前面写过了，就不...

2018-08-27 16:56:15 2181

空空如也

空空如也