开源蓝鸟社区

专注和开源造就伟大

mysql中关于批量插入数据(1万、10万、100万、1000万、1亿级别的数据)二

硬件:windows7+8G内存+i3-4170处理器+4核CPU 关于前天写的批量插入数据,还有一种方式,就是通过预先写入文本文件,然后通过mysql的load in file命令导入到数据库,今天把这种方式也说一下,首先是main方法调用: 解释一下为什么要两个参数: 第一个参数是写入几...

2019-01-04 22:35:00

阅读数 1828

评论数 1

mysql中关于批量插入数据(1万、10万、100万、1000万、1亿级别的数据)

硬件:windows7+8G内存+i3-4170处理器+4核CPU 首先贴上数据库的操作类BaseDao: import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement...

2019-01-02 19:51:25

阅读数 8761

评论数 17

ssm框架下实现SSO单点登录

1.定义对象并实现可序列化接口 public class Users implements Serializable { private int id; private String username; private String password; public int getId...

2018-12-08 09:38:36

阅读数 1160

评论数 0

北京尚学堂--单例模式笔记

1、前言 说到单例模式,最开始认识的时候是在数据库连接里面,当时也不知道为什么要采用单例模式,就是自学跟着视频里面的讲师敲代码,定义一个字段:private static  DBConnectionManager instance;采用一个方法:  public static synchron...

2018-08-04 11:43:17

阅读数 194

评论数 0

找工作。。。。

2019年6月毕业 本科 学校:河南科技学院 专业:信息管理与信息系统,计算机科学与技术(双学位) 期望职位:Java或者大数据(实习生) 薪资:温饱。。。 城市:郑州(目前就在这边住,优先考虑)、北京、上海、杭州 证书:二级Java、Office、软考程序员 掌握技能: Jav...

2019-02-19 10:05:30

阅读数 87

评论数 1

hive中的lateral view 与 explode函数的使用

https://blog.csdn.net/guodong2k/article/details/79459282

2019-01-21 15:13:33

阅读数 202

评论数 0

MySQL教程之concat、concat_ws、group_concat的用法

Hive中的用法和此相同: https://baijiahao.baidu.com/s?id=1595349117525189591&wfr=spider&for=pc

2019-01-21 14:47:41

阅读数 28

评论数 0

阿里云1G服务器玩转Spark——Swap与Memory

博主前一段时间买了1G的阿里云服务器,然后各种折腾下,Hadoop相关生态圈基本给搭建完毕,但用到Spark时候却遇到了重大问题,进程启动一切正常,但进入spark shell客户端时候一直报OOM,到这怎么办?难道升级阿里云服务器的内存,但看了看价格,还是算了。。。 办法还是人想出来的,终于经...

2019-01-18 15:19:59

阅读数 139

评论数 0

zookeeper客户端管理命令总结

本着不要重复造轮子的态度,分享一个详细链接: https://www.cnblogs.com/chengxuyuanzhilu/p/6698059.html

2019-01-05 09:45:08

阅读数 54

评论数 0

Lock和synchronized的区别和使用

分享一个很详细的链接: https://www.cnblogs.com/baizhanshi/p/6419268.html

2019-01-03 20:06:48

阅读数 55

评论数 0

Spark Streaming性能调优详解(转)

原文链接:Spark Streaming性能调优详解  Spark Streaming提供了高效便捷的流式处理模式,但是在有些场景下,使用默认的配置达不到最优,甚至无法实时处理来自外部的数据,这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样,所以我们无法设置一些通用的配置...

2018-12-28 15:46:13

阅读数 32

评论数 0

Redis的工具类

import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig; import java.io.Serializable; /...

2018-12-28 09:35:14

阅读数 42

评论数 0

scala练习题--Scala基础

1、在Scala REPL中,计算3的平方根,然后再对该值求平方。现在,这个结果与3相差多少? scala> scala.math.sqrt(3)   warning: there were 1 deprecation warnings; re-run with -d...

2018-12-27 09:15:53

阅读数 213

评论数 0

scala之集合上常见的函数式风格

"过滤"相关的操作: flter: 设定一个判定结果为布尔型的过滤条件,应用到集合的每一个元素上,返回的是集合里所有满足条件的元素构成的一个子集。 partition: filter类型操作的一个变种,同样是设定一个判定结果为布尔型的过滤条件,应用到集...

2018-12-27 09:07:52

阅读数 38

评论数 0

scala中:: , +:, :+ , ::: , ++ 的区别

4种操作符的区别和联系 :: 该方法被称为cons,意为构造,向队列的头部追加数据,创造新的列表。用法为 x::list,其中x为加入到头部的元素,无论x是列表与否,它都只将成为新生成列表的第一个元素,也就是说新生成的列表长度为list的长度+1(btw, x::list等价于list.::(x...

2018-12-27 09:04:07

阅读数 37

评论数 0

HBase读数据和写数据流程

Hbase架构图镇楼: HBase读数据的流程: HRegionServer保存着meta表以及表数据,要访问表数据,首先Client先去访问zookeeper,从zookeeper里面获取meta表所在的位置信息,即找到这个meta表在哪个HRegionServer上保存着。 接着...

2018-12-17 15:50:36

阅读数 44

评论数 0

Sqoop常用命令及参数

https://blog.csdn.net/liangzelei/article/details/80305988

2018-12-12 15:08:48

阅读数 31

评论数 0

Hadoop hive里的视图

原文链接:https://www.cnblogs.com/zlslch/p/6105243.html 可以先,从MySQL里的视图概念理解入手         视图是由从数据库的基本表中选取出来的数据组成的逻辑窗口,与基本表不同,它是一个虚表。在数据库中,存放的只是视图的定义,而不存放视图包含...

2018-12-12 10:52:05

阅读数 92

评论数 0

利用分析函数over()--去重数据

提出问题:假如有10条记录,从业务上理解是重复的,只有一个系统自动生成的id号是不同的,怎么去重只剩下一条? 业务背景:三张数据表 A B C 其中 A表是最大的表,包含 B和C中的数据(部分或全部);同时,B和C之间也可能存在部分重复的数据。 实现:需要写一个SQL,查询A B C三张表中...

2018-12-11 19:52:18

阅读数 174

评论数 0

Hadoop 设置任务执行的队列以及优先级

作业提交到的队列:mapreduce.job.queuename 作业优先级:mapreduce.job.priority 优先级默认有5个:low very_low norman(默认) high very_high Pig版本: SET mapreduce.job.queuename ...

2018-12-10 22:05:23

阅读数 200

评论数 0

提示
确定要删除当前文章?
取消 删除