Java
文章平均质量分 52
大鱼-瓶邪
工作已签,base杭州,专注毕业,后期更新可能会稍微少一点,还是会和大家一起探讨。
华中科技大学在读研究生。主要做核聚变模拟计算,管理着82个节点的集群,做大数据和机器学习,利用10多个老节点搭建各种环境钻研大数据知识,主要是Hadoop生态圈(HDFS+Spark+Sqoop+HIve+Hbase+Pig+Zookeeper)。<br>也用python做科研数据分析,机器学习。<br>熟悉scala开发<br>本科期间跟随导师做了两年的java web开发,熟悉ssh框架,mysql,oracle数据库
展开
-
Centos6.5或着Centos7下安装新版的JDk
说明此次是在Linux集群下的某个单节点下安装的,节点中已经安装jdk1.6,jdk1.4,jdk1.5,jdk1.7版本,此次并没有将之前的版本jdk卸载。1.下载好jdk,例如jdk-8u172-linux-x64.tar.gz 直接去官网下载:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-213...原创 2018-05-13 15:08:48 · 1643 阅读 · 0 评论 -
java实现数据结构---链表
package DataStructure;public class LinkedList<E> { /** * 增删改查复杂度:O(n) * 动态分配空间,不会浪费空间 */ private class Node{//节点类,一个Node表示一个数据的存储和指向下一个节点 public E e; ...原创 2019-08-25 00:14:24 · 139 阅读 · 0 评论 -
java实现数据结构---队列(链表底层实现)
package DataDtructure;/** * ClassName: Queue * Company:华中科技大学电气学院 * date: 2019/8/23 15:46 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description: */public interface Queue<E> {...原创 2019-08-25 15:18:40 · 473 阅读 · 0 评论 -
java用数组实现链表
package DataStructure;//用数组创建链表public class ListNode<E> { private E val; private ListNode next; public ListNode(E val){ this.val = val; } //链表节点的构造函数 publi...原创 2019-08-25 22:41:49 · 1432 阅读 · 0 评论 -
单机版下的单例模式
package GOGO;/** * 单机版下的单例模式 */public class SingletonDemo { private static SingletonDemo instance = null; //构造器独一份 private SingletonDemo(){ //如果只有一个实例,该句话只被打印一次 Syst...原创 2019-08-25 23:16:08 · 228 阅读 · 0 评论 -
并发下的单例模式解决办法【由于指令重排,存在一定隐患】
package GOGO;/** * 并发下的单例模式 */public class SingletonDemo { private static SingletonDemo instance = null; //构造器独一份 private SingletonDemo(){ //如果只有一个实例,该句话只被打印一次 Syste...原创 2019-08-25 23:30:29 · 401 阅读 · 0 评论 -
并发下的单例模式完整解决方案
package GOGO;/** * 并发下的单例模式: * 双端检索机制DCL(Double check Lock),但是可能会导致指令重排!!!!!线程不一定安全,依旧存在单例模式的隐患 * 可以加入volatile禁止指令重排 */public class SingletonDemo { private static volatile SingletonDemo i...原创 2019-08-25 23:44:31 · 611 阅读 · 0 评论 -
Hadoop生态各组件搭建的环境配置记录汇总【超详细+Flink】
test用户:node40:主节点node37,node38,node39是数据节点。python3.6.4,jdk1.8都是在/usr/local下。zookeeper3.4.12在node37--node39节点上。node40:安装的hive,mysql【root】,Sqoop1.99,Kafka。node40设置的HMaster,node38设置的HMaster-b...原创 2019-08-12 17:25:00 · 1341 阅读 · 0 评论 -
java实现数据结构---栈(数组底层实现)
package DataDtructure;/** * ClassName: ArrayStack * Company:华中科技大学电气学院 * date: 2019/8/20 14:49 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:通过上一节实现的动态数组来实现栈 */public class...原创 2019-08-23 15:20:30 · 373 阅读 · 0 评论 -
LeetCode---括号匹配
package DataDtructure;import java.util.Stack;/** * ClassName: Solution * Company:华中科技大学电气学院 * date: 2019/8/23 15:18 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:解决括号匹配问题 */...原创 2019-08-23 15:21:12 · 191 阅读 · 0 评论 -
java实现数据结构---队列(数组底层实现)
package DataDtructure;/** * ClassName: ArrayQueue * Company:华中科技大学电气学院 * date: 2019/8/23 15:48 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:通过之前的动态数组实现队列 */public class Ar...原创 2019-08-23 15:56:12 · 543 阅读 · 0 评论 -
java实现数据结构---数组
package DataDtructure;import java.util.ArrayList;/** * ClassName: Array * Company:华中科技大学电气学院 * date: 2019/8/20 22:33 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:数组 */pu...原创 2019-08-23 13:48:52 · 255 阅读 · 0 评论 -
用递归思想删除链表中的元素
package DataDtructure;/** * ClassName: RemoveListNode * Company:华中科技大学电气学院 * date: 2019/8/26 15:22 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:通过递归删除链表中的节点 */public class...原创 2019-08-26 15:37:26 · 579 阅读 · 0 评论 -
java8的lamda表达式
package JUC;import java.util.Arrays;import java.util.List;import javax.security.auth.x500.X500Principal;@FunctionalInterface//接口也是一种特殊的类,如果该接口用于lamda表达式进行函数式编程,//则只能有一个方法,@FunctionalInterface...原创 2019-08-27 16:40:37 · 637 阅读 · 0 评论 -
JUC中的FutureTask
package JUC;import java.util.concurrent.Callable;import java.util.concurrent.ExecutionException;import java.util.concurrent.FutureTask;/*** RunnableAndCallable两个类的比较* @author YEXIN**//*...原创 2019-08-27 17:22:56 · 606 阅读 · 0 评论 -
java实现数据结构---循环队列
package DataDtructure;/** * ClassName: LoopQueue * Company:华中科技大学电气学院 * date: 2019/8/23 16:23 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:实现循环队列,不再使用动态数组了 */public class ...原创 2019-08-23 16:57:37 · 264 阅读 · 0 评论 -
Kafka简介
一种高效的流处理平台。基本概念: --------------概念延伸--------------------基本结构:逻辑结构: 另一种展示: kafka消息结构:Kafka特点:分布式:多分区,多副本,多订阅者,基于zookeeper调度高性能:高吞吐量【几十万M/s】,低延迟,高并发,时间复...原创 2019-08-13 18:49:34 · 244 阅读 · 0 评论 -
SnowFlask算法的Java实现全局唯一ID(直接复制即可运行)
package AlgorithmProjects;/** * author:Yexin * create 2018-05-02 19:31 * Desc:该算法是用来生成全局唯一ID * SnowFlake所生成的ID一共分成四部分: * 1.第一位 * 占用1bit,其值始终是0,没有实际作用。 * 2.时间戳 * 占用41bit,精确到毫秒,总共可以容纳约140年的时间。...原创 2018-05-13 20:51:32 · 436 阅读 · 0 评论 -
Hadoop中RPC机制实现(源码)
RPC(Remote Proceduce Call):远程过程调用协议(通过网络从远程计算机程序上请求服务,不需要了解底层网络技术的协议),RPC假定某些传输协议的存在,例如TCP或UDP,RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。 具体过程:首先,客户机调用进程发送一个有进程参数的调用信息到服务器进程,然后等待应答信息。在服务器端,进程保持睡眠状态直...原创 2018-05-25 00:54:00 · 410 阅读 · 0 评论 -
Eclipse下创建hadoop项目-----创建HDFS文件和上传资源至HDFS
打开Eclipse,新建java project,将相关的hadoop包导入lib,具体方法见:https://blog.csdn.net/qq_25948717/article/details/80428129选中lib下的所有jar包,右键,Add to Build Path,即可把所有jar包添加到path环境中,Reference中可以看到。创建com.hdfs包,新建mkdirHdfsF...原创 2018-05-25 23:24:54 · 5694 阅读 · 0 评论 -
Centos安装Eclipse的hadoop插件(Hadoop开发)
首先下载eclipse:http://www.eclipse.org/downloads/packages/release/Mars/2注意不要下错了,用oxygen版的话会因为gtk+版本过低无法打开eclipse解压到安装目录(自己定)后,将插件拷贝到eclipse/plugins 和eclipse/dropins里面:运行eclipse/eclipse就可以了,点击NEW-Project看...原创 2018-05-22 13:06:04 · 1892 阅读 · 0 评论 -
Eclipse创建hadoop项目步骤
打开eclipse,创建java项目,选中hadoop工程,右键单击创建folder,输入lib:在命令行下将核心包导入lib:导入hadoop-hdfs-2.8.2.jar导入hdfs下的库导入hadoop-common-2.8.2.jar导入common下的jar查看导入的jar包,修改文件所属者:单击hadoop项目,Refresh.单击hadoop,右键Build Path-->Co...原创 2018-05-23 23:46:04 · 7114 阅读 · 0 评论 -
Hadoop实操2--java API操作HDFS文件+详细的源码单元测试(IDEA)
主要操作HDFS文件的查看,添加,删除,上传,下载。完整源码见后面环境搭建见:https://blog.csdn.net/qq_25948717/article/details/82015131Maven就是方便包的管理版本匹配搭建好如图:配置:可以看到右下角正在下载依赖,第一耗时很长=========================================...原创 2018-08-24 14:53:39 · 2401 阅读 · 0 评论 -
Hadoop数据类型和序列化
Hadoop中的java基本类型都是通过实现Writeable接口:BooleanWirteable,ByteWirteable,IntWirteable, VintWirteable,FloatWirteable,LongWirteable,DoubleWirteable。Hadoop序列化机制和Java的不同,java序列化是不断创建对象,Hado...原创 2018-09-08 16:28:49 · 416 阅读 · 0 评论 -
Haoop实操3-筛选出社交网站特定日期的用户,以序列化格式输出
1.待处理的数据文件格式(部分截图):生成上图文件的Python源码:https://blog.csdn.net/qq_25948717/article/details/824929622.启动hadoop,我是在node40节点上启动的伪分布式集群,在node100节点下开发的, node40下:start-all.sh node100下:打开Eclipse 配置好...原创 2018-09-07 18:41:21 · 381 阅读 · 0 评论 -
Java-线程休眠
package yexin.sogou.java;/** * Company: Huazhong University of science and technology * 华中科技大学电气学院聚变与等离子体研究所 * Version: V1.0 * Author: Victor * Contact: 1650996069@qq.com 2018--2020 * Software...原创 2019-02-25 13:27:06 · 482 阅读 · 0 评论 -
Java内存模型(JMM)
为了屏蔽掉各种硬件核操作系统的内存访问差异,以实现Java程序在各种平台下达到一致的并发效果,JVM中定义了JMM。JMM:一种规范,规范了JVM与计算机内存是如何协同工作的。它规定了一个线程如何和核实可以看到由其他线程修改过的共享变量的值,以及在必须时如何同步地访问共享变量。Heap:堆,运行时的数据区,由垃圾回收来负责,可以动态分配内存大小(导致存取速度比较慢一些),...原创 2019-03-03 13:56:20 · 241 阅读 · 0 评论 -
Java中堆和栈的区别
堆和栈都是Java用来在RAM中存放数据的地方。-------------------------------------------------------------------------------------------------------堆(1)Java的堆是一个运行时数据区,类的对象从堆中分配空间。这些对象通过new等指令建立,通过垃圾回收器来销毁。(2)堆的优势...原创 2019-04-15 21:17:23 · 212 阅读 · 0 评论 -
java--简单的socket编程
package JavaSE.SocketDemo;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.ServerSocket;import java.net.Socket;/** * ClassName: ServerDemo *...原创 2019-07-13 17:36:21 · 147 阅读 · 0 评论 -
java--多线程简单实例
package MutiplyThread;/** * ClassName: Demo1Test * Company:华中科技大学电气学院 * date: 2019/7/13 20:54 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:多线程程序: * 1.将需要用多线程执行的...原创 2019-07-13 21:15:32 · 294 阅读 · 0 评论 -
java实现wordcount
package JavaSE.homework1;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.InputStreamReader;import java.util.HashMap;import java.util.Map;import java.util.Set;/**...原创 2019-07-10 10:35:50 · 1876 阅读 · 0 评论 -
java实现二分搜索树BST
package Tree;import java.awt.image.RescaleOp;import javax.sound.midi.Soundbank;/*** @Title: BST.java* @Package BinarySerachTree* @Description: TODO二分搜索树,递归的写法一般具有更高的开销* @author YEXIN* @date...原创 2019-08-28 17:56:04 · 629 阅读 · 0 评论