自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

叶小刀

研究生生涯的知识积累,每天积累一点点,日日更新一丢丢

  • 博客(195)
  • 资源 (5)
  • 问答 (2)
  • 收藏
  • 关注

原创 Spark SQL介绍和DataFrame概念以及其API的应用示范

Spark SQL介绍:Spark SOL是用于结构化数据、半结构化数据处理的Spark高级模块,可用于从各种结构化数据源,例如JISON (半结构化)文件、CSV文件、ORC文件(ORC文件格式是一种Hive的文件存储格式,可以提高Hive表的读、写以及处理数据的性能)、Hive表、Parquest文件(新型列式存储格式,具有降低查询成本、高效压缩等优点,广泛用于大数据存储、分析领域...

2020-08-16 12:41:12 5246

原创 java实现二分搜索树BST

package Tree;import java.awt.image.RescaleOp;import javax.sound.midi.Soundbank;/*** @Title: BST.java* @Package BinarySerachTree* @Description: TODO二分搜索树,递归的写法一般具有更高的开销* @author YEXIN* @date...

2019-08-28 17:56:04 267

原创 JUC中的FutureTask

package JUC;import java.util.concurrent.Callable;import java.util.concurrent.ExecutionException;import java.util.concurrent.FutureTask;/*** RunnableAndCallable两个类的比较* @author YEXIN**//*...

2019-08-27 17:22:56 231

原创 java8的lamda表达式

package JUC;import java.util.Arrays;import java.util.List;import javax.security.auth.x500.X500Principal;@FunctionalInterface//接口也是一种特殊的类,如果该接口用于lamda表达式进行函数式编程,//则只能有一个方法,@FunctionalInterface...

2019-08-27 16:40:37 358

原创 用递归思想删除链表中的元素

package DataDtructure;/** * ClassName: RemoveListNode * Company:华中科技大学电气学院 * date: 2019/8/26 15:22 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:通过递归删除链表中的节点 */public class...

2019-08-26 15:37:26 280

原创 并发下的单例模式完整解决方案

package GOGO;/** * 并发下的单例模式: * 双端检索机制DCL(Double check Lock),但是可能会导致指令重排!!!!!线程不一定安全,依旧存在单例模式的隐患 * 可以加入volatile禁止指令重排 */public class SingletonDemo { private static volatile SingletonDemo i...

2019-08-25 23:44:31 288

原创 并发下的单例模式解决办法【由于指令重排,存在一定隐患】

package GOGO;/** * 并发下的单例模式 */public class SingletonDemo { private static SingletonDemo instance = null; //构造器独一份 private SingletonDemo(){ //如果只有一个实例,该句话只被打印一次 Syste...

2019-08-25 23:30:29 161

原创 单机版下的单例模式

package GOGO;/** * 单机版下的单例模式 */public class SingletonDemo { private static SingletonDemo instance = null; //构造器独一份 private SingletonDemo(){ //如果只有一个实例,该句话只被打印一次 Syst...

2019-08-25 23:16:08 70

原创 java用数组实现链表

package DataStructure;//用数组创建链表public class ListNode<E> { private E val; private ListNode next; public ListNode(E val){ this.val = val; } //链表节点的构造函数 publi...

2019-08-25 22:41:49 513

原创 java实现数据结构---队列(链表底层实现)

package DataDtructure;/** * ClassName: Queue * Company:华中科技大学电气学院 * date: 2019/8/23 15:46 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description: */public interface Queue<E> {...

2019-08-25 15:18:40 244

原创 java实现数据结构---栈(链表底层实现)

package DataStructure;public class LinkedListStack<E> implements Stack<E> { private LinkedList<E> list; public LinkedListStack(){ list = new LinkedList<>(...

2019-08-25 00:32:02 67

原创 java实现数据结构---链表

package DataStructure;public class LinkedList<E> { /** * 增删改查复杂度:O(n) * 动态分配空间,不会浪费空间 */ private class Node{//节点类,一个Node表示一个数据的存储和指向下一个节点 public E e; ...

2019-08-25 00:14:24 62

原创 java实现数据结构---循环队列

package DataDtructure;/** * ClassName: LoopQueue * Company:华中科技大学电气学院 * date: 2019/8/23 16:23 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:实现循环队列,不再使用动态数组了 */public class ...

2019-08-23 16:57:37 123

原创 java实现数据结构---队列(数组底层实现)

package DataDtructure;/** * ClassName: ArrayQueue * Company:华中科技大学电气学院 * date: 2019/8/23 15:48 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:通过之前的动态数组实现队列 */public class Ar...

2019-08-23 15:56:12 268

原创 LeetCode---括号匹配

package DataDtructure;import java.util.Stack;/** * ClassName: Solution * Company:华中科技大学电气学院 * date: 2019/8/23 15:18 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:解决括号匹配问题 */...

2019-08-23 15:21:12 64

原创 java实现数据结构---栈(数组底层实现)

package DataDtructure;/** * ClassName: ArrayStack * Company:华中科技大学电气学院 * date: 2019/8/20 14:49 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:通过上一节实现的动态数组来实现栈 */public class...

2019-08-23 15:20:30 80

原创 java实现数据结构---数组

package DataDtructure;import java.util.ArrayList;/** * ClassName: Array * Company:华中科技大学电气学院 * date: 2019/8/20 22:33 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:数组 */pu...

2019-08-23 13:48:52 78

原创 Redis5.0集群搭建及一些新特性

安装Redis5.01.新的Stream数据类型【其他5种:String,set,sorted-set,hash,list】本质是一个抽象日志。 命令操作:消费组:>表示读取最新的消息,第二次执行的>,是又插入之后读取的。读取某个ID之后的消息:Block 0 表示阻塞,也就是在客户端新插入消...

2019-08-18 21:58:03 184

原创 Kafka简介

一种高效的流处理平台。基本概念: --------------概念延伸--------------------基本结构:逻辑结构: 另一种展示: kafka消息结构:Kafka特点:分布式:多分区,多副本,多订阅者,基于zookeeper调度高性能:高吞吐量【几十万M/s】,低延迟,高并发,时间复...

2019-08-13 18:49:34 99

原创 Hadoop生态各组件搭建的环境配置记录汇总【超详细+Flink】

test用户:node40:主节点node37,node38,node39是数据节点。python3.6.4,jdk1.8都是在/usr/local下。zookeeper3.4.12在node37--node39节点上。node40:安装的hive,mysql【root】,Sqoop1.99,Kafka。node40设置的HMaster,node38设置的HMaster-b...

2019-08-12 17:25:00 498

原创 java--多线程简单实例

package MutiplyThread;/** * ClassName: Demo1Test * Company:华中科技大学电气学院 * date: 2019/7/13 20:54 * author: YEXIN * version: 1.0 * since: JDK 1.8 * Description:多线程程序: * 1.将需要用多线程执行的...

2019-07-13 21:15:32 98

原创 java--简单的socket编程

package JavaSE.SocketDemo;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.ServerSocket;import java.net.Socket;/** * ClassName: ServerDemo *...

2019-07-13 17:36:21 60

原创 java实现wordcount

package JavaSE.homework1;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.InputStreamReader;import java.util.HashMap;import java.util.Map;import java.util.Set;/**...

2019-07-10 10:35:50 662

原创 Python分析数据【利用DataFame】--帮一个武大同学分析excel表格数据【记】

Excel数据格式截图:主要分析cog数据在不同指标下随时间的变化,有2005 2008 2011 2014四个年度。prov是不同省份等等。代码如下:# -*- coding: utf-8 -*-"""Created on Fri May 24 09:56:04 2019@author: YEXIN@Company:华中科技大学"""import pandas...

2019-05-25 14:45:49 264

原创 Buffer And Cache

使用free命令查看我们实验室文件服务器内存得到的结果,-m选项表示使用MB为单位:输出的第二行表示系统内存的使用情况:注:前面四项都比较好理解,buffer 和 cache找不到合适的词来翻译,它们的区别在于:A buffer is something that has yet to be “written” to disk.A cache is something th...

2019-04-23 16:01:26 118

原创 数据结构-----图

数据结构当中的图(Graph)可以看作是一个关系网。再举一个栗子,咱们在用百度地图的时候,常常会使用导航功能。比如你在地铁站A附近,你想去的地点在地铁站F附近,那么导航会告诉你一个最佳的地铁线路换乘方案。许许多多地铁站所组成的交通网络,也可以认为是数据结构当中的图。=========================================================...

2019-04-15 21:43:32 188

原创 Java中堆和栈的区别

堆和栈都是Java用来在RAM中存放数据的地方。-------------------------------------------------------------------------------------------------------堆(1)Java的堆是一个运行时数据区,类的对象从堆中分配空间。这些对象通过new等指令建立,通过垃圾回收器来销毁。(2)堆的优势...

2019-04-15 21:17:23 103

原创 Java内存模型(JMM)

为了屏蔽掉各种硬件核操作系统的内存访问差异,以实现Java程序在各种平台下达到一致的并发效果,JVM中定义了JMM。JMM:一种规范,规范了JVM与计算机内存是如何协同工作的。它规定了一个线程如何和核实可以看到由其他线程修改过的共享变量的值,以及在必须时如何同步地访问共享变量。Heap:堆,运行时的数据区,由垃圾回收来负责,可以动态分配内存大小(导致存取速度比较慢一些),...

2019-03-03 13:56:20 172

原创 CPU多级缓存

单核时代,乱序执行优化会保证结果的一致性。在多核时代就会出现问题。因为每个核都有自己的缓存,导致逻辑上后写入的数据未必真的写入。...

2019-03-03 12:33:58 103

原创 Java-线程休眠

package yexin.sogou.java;/** * Company: Huazhong University of science and technology * 华中科技大学电气学院聚变与等离子体研究所 * Version: V1.0 * Author: Victor * Contact: 1650996069@qq.com 2018--2020 * Software...

2019-02-25 13:27:06 372

原创 插入排序Python3.6

#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院@version: V1.0@author: Victor@contact: 1650996069@qq.com 2018--2020@software: PyCharm@file: InsertSort.py@time: 2019/2/20 12:12@D...

2019-02-20 13:16:18 123

原创 选择排序Python3.6

#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院@version: V1.0@author: Victor@contact: 1650996069@qq.com 2018--2020@software: PyCharm@file: SelectionSort.py@time: 2019/2/20 10:2...

2019-02-20 10:43:02 108

原创 冒泡排序Python3.6

#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院@version: V1.0@author: Victor@contact: 1650996069@qq.com 2018--2020@software: PyCharm@file: BubbleSort.py@time: 2019/2/19 9:53@De...

2019-02-20 10:41:40 129

原创 1.TwoSum

#!/usr/bin/env python# encoding: utf-8"""@Company:华中科技大学电气学院聚变与等离子研究所@version: V1.0@author: Victor@contact: 1650996069@qq.com or yexin@hust.edu.cn 2018--2020@software: PyCharm@file: Two_Sum.p...

2019-02-18 21:39:13 108

原创 Redis---API之有序集合的理解与使用

一种比较新的数据结构, 结构:可以直接排序,按序取结果,通过分值实现有序。      集合 VS 有序集合列表 VS 有序集合重要API,有序集合的操作以Z为开头的命令。这里score可以重复,element不可以重复。实战:其他操作:案例演示:...

2018-11-30 20:34:34 148

原创 Redis---API之集合的理解与使用

集合结构:如果集合中已经存在某个value,则会失败,srem key music 可以直接将集合某个元素删除。     集合间的操作:    集合特点:无序(不能通过下标操作),无重复,集合间操作。集合内部的API:都是以S作为开头。       注意:smembers是无序的,因为redis是单线程,当元素很多,使用smembers可能会阻塞redis。  ...

2018-11-30 20:11:33 112

原创 Redis---API之列表的理解与使用

列表结构:value其实是一个有序的队列。       两边 插入元素:                     中间插入元素:           删除元素:                                                  删除所有a的元素:          根据下标修剪列表:        ...

2018-11-30 19:47:32 97

原创 Redis---API之哈希的理解与使用

哈希键值结构:filed可以单独直接添加,更新,删除等,如果用字符串的类型,还需要封装成一个对象,存在redis里面需要序列化,得到某个filed还需要反序列化。        可以把一个key看做一个表的一行,key代表id,每个filed可以看作表的字段。例如下图就是key-value结构,常见操作:                    应用1...

2018-11-30 19:23:09 269

原创 Redis---API之字符串的理解与使用

1.字符串:   字符串键值结构:              使用场景:缓存,计数器,分布式锁简单命令:               应用1:记录网站每个用户个人主页的访问量,该如何做?           应用2:缓存视频的基本信息(数据源在mysql中)伪代码-----&gt;为了提高接口的收发性能。          实现:首先根据视频id(vid)通...

2018-11-30 17:44:15 116

原创 Redis安装与配置文件和启动方式以及基本知识

下载解压到自己喜欢的目录后进入到redis文件夹编译安装:安装后进入到src目录看到:redis-server  ------------&gt;启动redis服务器redis-cli--------------------&gt;Redis命令客户端redis-benchmark--------&gt;Redis测试工具redis-check-aof-----------...

2018-11-30 16:06:51 4069 1

Python可变对象与不可变对象

Python里和None比较时,为什么是 is None 而不是 == None 呢? 这是因为None在Python里是个单例对象,一个变量如果是None,它一定和None指向同一个内存地址。而 == None背后调用的是__eq__,而__eq__可以被重载

2018-09-03

矩阵的卷积核

最近在看图像处理,卷积运算这一块也查了很多,但是感觉都写的太复杂,我这里简单的写一下卷积到底是一个什么计算过程。 假设有一个卷积核h,就一般为3*3的矩阵

2018-09-03

安装hadoop集群

多节点下Hadoop集群安装 参照上一篇:单节点下安装hadoop伪分布式集群 安装完后,讲解安装hadoop集群

2018-09-03

韩顺平hibernate

非常全面的struts2和hibernatePPt笔记:对大家很有帮助,一共8讲

2016-01-17

安装VS2013

本人将网上的安装的安装教程修改后,更适合广大网友安装VS,其中容易出现的问题也都解决。

2015-03-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除