麋鹿麋鹿迷了路

原创 『数据研发系列』第一期——8张思维导图教你走上数据研发之路

原创 秋招的一些面经吧——大数据面经和java面经（阿里巴巴）

渣硕的秋招算是终于结束了，写一下秋招的一些面经吧。应聘方向是大数据开发和java开发大概拿到的offer有：阿里、美团、快手、贝壳、作业帮、旷视、农行总部、浙江大华、海康威视、有赞、云从科技、招银网络科技、oppo一.阿里巴巴（已拿offer）：渣硕阿里面了总共三个部门，最终有幸拿到了阿里新零售的数据研发。最后数据研发岗位没有总结面经。前面两个部门。阿里cbu一面（java开发...

原创 linux下非root权限的mysql安装

                查询以前安装的mysql相关包 rpm -qa | grep mysql 暴力删除这个包 rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm  rpm -ivh MySQL-client-5.1.73-1.glibc...

原创 国内手机号正则表达式匹配

可以匹配0086、+86、0086-、+86-、以及没有前缀的国内手机号。国内手机号正则表达式匹配。

原创 『数据研发系列』第四期——4张思维导图带你了解阿里数据仓库架构设计

『数据研发系列』第四期——4张思维导图带你了解阿里数据仓库架构设计

原创 『数据研发系列』第三期——3张思维导图教你ETL和SQL

『数据研发系列』第三期——3张思维导图教你ETL和SQL

原创 『数据研发系列』第二期——3张思维导图教你离线模型设计

『数据研发系列』第二期——3张思维导图教你离线模型设计

原创 sql语句执行顺序

(8)SELECT (9) DISTINCT (11) <TOP_specification> <select_list>(1) FROM <left_table>(3) <join_type> JOIN <right_table>(2) ON <join_condition>(4) WHERE <where_condition>(5) GROUP BY <group_by_list>(6

转载 redis单例、主从、sentinel和cluster模式

Redis单例、主从模式、sentinel以及集群的配置方式及优缺点对比Java知音 昨天点击上方“Java知音”，选择“置顶公众号”技术文章第一时间送达！作者：爱宝贝丶my.oschina.net/zhangxufeng/blog/905611redis作为一种高效的缓存框架，使用是非常广泛的，在数据存储上，在运行时其将数据存储在内存中，以实现数据的高效读...

原创 storm的ack机制以及原理

Storm的ack机制 Ack机制基本知识 （1）为了保证消息处理过程中的可靠性,storm使用了ack机制。storm会专门启动若干acker线程，来追踪tuple的处理过程。acker线程数量可以设置。（2）每一个Tuple在Spout中生成的时候,都会分配一个64位的messageId。通过对messageId进行哈希我们可以知道要对哪个ack...

原创 storm的ack原理

Storm的ack机制 Ack机制基本知识 （1）为了保证消息处理过程中的可靠性,storm使用了ack机制。storm会专门启动若干acker线程，来追踪tuple的处理过程。acker线程数量可以设置。（2）每一个Tuple在Spout中生成的时候,都会分配一个64位的messageId。通过对messageId进行哈希我们可以知道要对哪个ack...

原创 mysql中隔离级别的实现即事务的实现

参考：https://blog.csdn.net/J_java1/article/details/82025189数据库对于隔离级别的实现就是使用并发控制机制对在同一时间执行的事务进行控制，限制不同的事务对于同一资源的访问和更新。并发控制机制三大金刚：锁：1、不会将整个数据库都加锁，而是只会锁住那些需要访问的数据项。2、分为共享锁（Shared）和互斥锁（Exclusive），...

原创 hashMap的扩容

一、扩容时机：1、HashMap使用的是懒加载，构造完HashMap对象后，只要不进行put 方法插入元素之前，HashMap并不会去初始化或者扩容table。2、当进行put的时候发现hashMap的容量达到阈值Capacity*loadFactor时发生扩容且当前加入的数据引起hash冲突因为上面这两个条件，所以存在下面这些情况：（1）、就是hashmap在存值的时候（默...

原创 调用system.gc会发生什么

java中手动调用 System.gc();也不能立刻让程序立刻就回收内存。这个调用相当于“建议”执行垃圾回收，但是什么时候调用是不能确定的！

原创 在数据库生成原数据库不存在的一列

使用 select *,'A' AS course from course;就生成注意单引号里面的是列值，as后面的是列名。又比如：原表是：使用select 姓名,'语文' as 课程,语文 as 分数from scores2之后变成...

原创 如何用数组实现队列、循环队列和栈

实现队列结构：相对栈结构要难搞一些，队列的先进先出的，需要一个数组和三个变量，size记录已经进来了多少个元素，head记录头元素，tail表示用户要求弹微元素。/*** 固定数组实现一个队列* 队列先进先出，方法有push,pull,peek*/public static class MyQueue<Item>{private int siz...

原创 java获取长度的几种方法——list集合的长度、数组的长度和字符串的长度

1 java中的length属性是针对数组说的,比如说你声明了一个数组,想知道这个数组的长度则用到了length这个属性.2 java中的length()方法是针对字符串String说的,如果想看这个字符串的长度则用到length()这个方法.3.java中的size()方法是针对泛型集合说的,如果想看这个泛型有多少个元素,就调用此方法来查看。public static void...

原创 TCP/IP为什么是三次握手不能用两次握手？

摘自《计算机网络》 A发送一次确认的原因是为了防止已失效的连接请求报文段突然传送到了B，因而产生错误。 “已失效的连接请求报文段”产生场景：A发出连接请求，因为连接请求报文丢失而未收到确认。A再重传一次连接请求，后来收到确认，建立了连接。数据传输完毕，就释放连接。 假设A发出的第一个连接请求报文段并没有丢失，而是在某些网络节点长时间滞留，后来某个时间又到达了...

原创 HashMap、Hashtable、ConcurrentHashMap的原理和底层

HashTable 1、底层：数组+链表实现，无论key还是value都不能为null。 2、线程安全，实现线程安全的方式是在所有的读写等操作都进行了锁（synchronized）保护，效率低，ConcurrentHashMap做了相关优化。 3、初始size为11，扩容：newsize = olesize*2+1 4、计算index的方法：index...

原创 度小满面经——java后台开发

1.n个1到100的数字，如何排序，bitmap2.hashmap和hashtable，为什么是0.75。hashmap存二叉树。存有向无环图，二叉树底层数据结构3.shell替换某个字符4.线程池打印三个字符，进程线程区别，5.redis的AOF和RDB。数据类型6.jvm内存分布，某个程序夯住，定位错误，从命令出发。jstate7，TCPIP层:每个层对应的协议，以及dns用的哪个...

原创 TCP粘包的问题

TCP粘包的问题1、什么是粘包： 简单的说就是通过TCP协议发送了多条独立的数据，但接收的时候，有些数据不幸的合并成了一个。比如客户端向服务器发送两个命令： 1)Hello 2)world 但是服务器接收的时候，很可能不是分两次接收，而是一次接收到 Helloworld2、粘包出现原因： 由于TCP协议本身的机制（面向连...

原创 mysql实现表的行列转换

Sql的行列（纵横表）转换创建表scores一、传统的行列转换纵表转横表我们要转成的横表是这样子的：既然这个表只有两列，那么可以根据姓名进行分组。先把姓名拼凑出来，后面的分数我们再想办法。select 姓名 from scores group by 姓名结果：分析：我们先拿到语文这个科目的分数。既然我们用到了group by 语句，这里肯定要用...

原创 spark的宽依赖和窄依赖

1.窄依赖：父分区对应一个子分区。 2.宽依赖：父分区对应多个子分区。

原创 jvm的gc的分配担保机制

1、准备在新生代进行minorGC时，首先检查“老年代”最大连续空间区域的大小是否大于新生代所有对象的大小。 2、如果老年代能装下所有新生代对象，minorGc没有风险，进行minorGC 3、老年代无法装下，垃圾收集器进行一次预测：根据以往minorGC过后存活对象的平均数来预测这次minorGC后存活对象的平均数。 （1）以往平均数小于当前老年代最大的连续...

转载 线程池具体解析以及工作原理

线程池是怎样工作的？逅弈 Java团长 昨天我们在工作中或多或少都使用过线程池，但是为什么要使用线程池呢？从他的名字中我们就应该知道，线程池使用了一种池化技术，和很多其他池化技术一样，都是为了更高效的利用资源，例如链接池，内存池等等。数据库链接是一种很昂贵的资源，创建和销毁都需要付出高昂的代价，为了避免频繁的创建数据库链接，所以产生了链接池技术。优先在池子中创建一批数据库链接，有...

转载 FIFO调度算法和LRU算法——缓存调度算法

FIFO调度算法和LRU算法一.理论FIFO：先进先出调度算法LRU：最近最久未使用调度算法两者都是缓存调度算法，经常用作内存的页面置换算法。打一个比方，帮助你理解。你有很多的书，比如说10000本。由于你的书实在太多了，你只能放在地下室里面。你看书的时候不会在地下室看书，而是在书房看书。每次，你想看书都必须跑到地下室去找出来你想看的书，然后抱回来放到书桌上，之后才开始看...

原创 大数据腾讯TEG面经——凉经

一面很多原理和计算机基础 c++1,反转链表和两个字符串最大公共子串2,osi的七层和什么的四层3,tcp和udp三次握手4，进程和线程区别5,hadoop分布，zookeeper选举6,hive和hbase区别，hbase都是mapreduce吗7,hbase底层8,mapreduce,shfful,经常查询用什么9，hbase原理二面1...

原创 位运算以及位的左移和右移

1、左移：m<<n。左移n位的时候，最左边的n位将被丢弃，最右边补上n个0。00001010<<2=0010100。10001010<<3=01010000 2、右移：m>>n。 （1）无符号数值：最右边n位被丢弃，最左边用0填补。 （2）有符号数值：用符号数填补最左边。原先是0即正数，则用0填补。 1...

原创 回溯法dfs详解——针对LeetCode131题

所有的回溯问题都是由三个步骤组成：choose、explore、unchoose因此对每个问题需要知道： 1.choosewhat？对于这个问题，我们选择每个字符串 2.howtoexplore？对于这个问题，我们对剩余的字符串做同样的事情。 3.unchoose 做相反的操作选择让我们以此问题为例：1.Definehelper()，通常我们...

原创 HBase的基本概念和使用

一、 简介hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要...

原创 字节流和字符流

字符流是字节流根据字节流所要求的编码集解析获得的。字符流=字节流+编码集，因此字符流相关的类都拥有操作编码集Unicode的能力。 1、字节流继承于InputStream OutputStream，字符流及程序InputStreamReader OutputStreamWriter。 2、可以说，后缀是Stream的都是字节流、其他的都是字符流。 3、字节流在操...

原创 spark连接mysql数据库

使用sparkSql中的SparkSession连接mysql数据库val sparkSession=SparkSession.builder().appName('SparkLinkMysql').getOrCreate()sparkSession.read().format("jdbc") .option("driver", "com.mysql.jdbc.Driver") ...

原创 Spark DataFrame中的join使用

Spark DataFrame中join与SQL很像，都有inner join, left join, right join, full join; 那么join方法如何实现不同的join类型呢？ 看其原型 def join(right : DataFrame, usingColumns : Seq[String], joinType : String) : DataFrame def join(...

原创 机器学习中gridSearchCV（网格搜索）的参数、方法

1.简介GridSearchCV的sklearn官方网址：http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html#sklearn.model_selection.GridSearchCVGridSearchCV，它存在的意义就是自动调参，只要把参数输进去，就能给出最优化的结...

原创 'FeatureUnion' is not defined怎么办

出现的原因是没有导入sklearn.pipeline中的FeatureUnionfrom sklearn.pipeline import FeatureUnion

原创 mybatis二级树查询，包括xml的配置

二级mybatis查询树