- 博客(37)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark 内存溢出解决方法
1.map过程产生大量对象导致内存溢出这种溢出的原因是单个map中产生了大量的对象导致的例如:rdd.map(x=>for(i<-1 to 10000) yield i.tostring)这个操作在rdd中，每个对象产生了10000个对象，肯定很容易产生内存溢出，针对这种问题，在不增加内存下，通过减少每个task的大小，以便达到每个task 即使产生大量的对象execu...
2020-09-06 18:59:49
1218
原创 spark基础概念篇
1.SparkContext：通常而言，Driver Application的执行与输出都是通过SparkContext来完成的，在正式提交Application之前，首先需要初始化SparkContext。SparkContext隐藏了网络通信、分布式部署、消息通信、存储能力、计算能力、缓存、测量系统、文件服务、Web服务等内容，应用程序开发者只需要使用SparkContext提供的API完成功能开发。SparkContext内置的DAGScheduler负责创建Job，将DAG中的RDD划分到不同的St
2020-09-06 18:58:51
132
原创 linux常用命令
linux常用命令总结sudopython -m SimpleHTTPSERVER 在当前文件夹下开启一个简易http服务器，可以用于临时分享文件^foo^ bar 把最后一次执行命令的foo替换成bar后执行echo “!!” > foo.sh 把上一个命令存为sh文件du -s * |sort -n|tail显示当前文件夹下最大的10个文件/文件夹ct...
2019-12-27 19:57:32
144
原创 linux常用命令
1.cd命令2.ls命令 ls -l 详细信息 ls *l wc显示当前目录下面的文件数量3.cat命令读取文件内容以及拼接文件4.rm命令5.mkdir命令6.cp命令7.kill命令8.shell脚本文件'hello world'#!/bin/sha='hello world'num=2echo 'a is:$a nu...
2019-11-23 20:30:47
131
转载 机器学习资料
这个岗位叫法很多，算法岗，数据挖掘岗，机器学习岗，基础研究等等……总结一下从16年3月开始到9月底这半年的面试情况正式校招只参加了百度和腾讯的笔试百度：实习生面试朋友帮我内推了，推了很多岗位，蛋疼，最开始的是个搞分布式平台的岗位，后面的岗位就不再接受简历1面要写代码，题目是输入根节点和两个子节点，找到最小公共父节点，2叉树只有孩子节点后面问了一些算法优化问题，理论差，不...
2019-08-15 23:21:41
169
转载 创建elasticsearch mapping和别名
映射（Mapping）概念：创建索引时，可以预先定义字段的类型以及相关属性。从而使得索引建立得更加细致和完善。如果不预先设置映射，会自动识别输入的字段类型。官方文档（字段数据类型）：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-types.html官方文档（映射参数）：https://www.elas...
2018-03-20 16:35:54
2205
原创 java的面试遗留问题
1.关于super是否调用产生的后果 在实例化一个子类对象的时候，如果不写SUPER关键字，那么JVM会自动调用父类的无参构造方法，如果需要用到父类的有参构造方法，那么必须用SUPER关键字来传参，不管在什么时候，实例化子类对象的时候都先调用父类的构造方法2.runnable适合多个线程访问同一资源的情况，thread中使用start方法不一定立即执行，使用wait会导致当前的线程
2017-12-03 22:26:41
162
转载 Nginx
大纲一、前言二、环境准备三、安装与配置Nginx四、Nginx之反向代理五、Nginx之负载均衡六、Nginx之页面缓存七、Nginx之URL重写 八、Nginx之读写分离注，操作系统为 CentOS 6.4 x86_64 , Nginx 是版本是最新版的1.4.2，所以实验用到的软件请点击这里下载：http://yunpan
2017-08-03 21:13:37
397
转载 DNS的原理解析
1.用户向浏览器输入www.web.com这个域名，浏览器第一次发现本地没有dns缓存，则向网站的DNS服务器请求；2.网站的DNS域名解析器设置了CNAME，指向了www.web.51cdn.com,请求指向了CDN网络中的智能DNS负载均衡系统；3.智能DNS负载均衡系统解析域名，把对用户响应速度最快的IP节点返回给用户；4.用户向该IP节点（CDN服务器）发出请求；5.由于是
2017-08-03 21:11:36
227
原创 Elasticsearch搜索引擎
最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作，花了些时间学习Elasticsearch的基础理论知识，整理了一下，希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方，望指明，一起探讨，学习，进步。介绍Elasticsearch 是一个分布式可扩展的实
2017-07-21 16:16:09
322
转载 关于Elastic入门的一些上手易懂资料
Elasticsearch基础教程 翻译：潘飞（tinylambda@gmail.com）基础概念 Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。 接近实时（NRT） Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个
2017-07-21 14:49:33
287
1
转载 在ElasticSearch之下（深入理解Shard和Lucene Index）
摘要从底层介绍ElasticSearch Shard的内部原理，以及回答为什么使用ElasticSearch有必要了解Lucene的内部工作方式？ 。了解ElasticSearch API的代价 。构建快速的搜索应用。不要任何时候都commit。何时使用Stored Field 和Document Values.Lucene可能不是一个合适的工具了解索引的存储方式。
2017-07-20 19:54:18
2344
转载 zookeeper配置
1.#cs通信心跳时间，zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，tickTime以毫秒为单位tickTime=20002.LF初始化通信时限，集群中的follower服务器(F)与leader服务器（L）之间初始连接时能容忍的最多心跳数（tickTime的数量）initLimit=103.LF同步通信时限，
2017-07-20 19:39:39
212
原创 lucene和ElasticSearch基本概念
lucene基本概念1.索引（Index）对应一个倒排表，一个检索的基本单位，在lucene中就对应一个目录。2.段（Segment）一个索引可以包含多个段，段与段之间是独立的，添加新文档可以生成新的段，不同的段可以合并。段是索引数据存储的单元。3.文档（Document）文档是我们键索引的基本单位，不同的文档是保存在不同的段中的，一个段可以包含多篇文档。新添加的文档是
2017-07-20 19:18:49
3683
转载 scala语法知识
Scala中的=>符号可以看做是创建函数实例的语法糖。例如：A => T，A,B => T表示一个函数的输入参数类型是“A”，“A,B”，返回值类型是T。请看下面这个实例：scala> val f: Int => String = myInt => "The value of myInt is: " + myInt.toString()f: Int => String = scala
2017-07-14 19:46:51
380
转载 端口被占用问题
今天又出现了Address already in use: JVM_Bind:8080这个问题，我真的很无语，去查看了一下进程觉得没有被占用啊，于是，直接去修改tomcat的配置文件，修改了以后再启还是Address already in use: JVM_Bind这个错误，我想肯定是改了端口就能轻易解决的问题，于是，用命令去查个究竟看看到底是谁在占用我服务器的端口。 netstat
2017-07-13 13:13:51
280
转载 ssh无密码登陆
场景：服务器A 采用ssh 登录服务器B,没有任何特殊设置情况下，采用ssh host.b 会出现提示Password: 让输入密码。如何可以不手工输入密码？解决方案： 生成ssh公钥和私钥[plain] view plain copy print?[qingxu@login1.cm3 .ssh]$ ssh-keyge
2017-07-12 14:13:35
334
原创 git疑惑
遇到一个不太懂的地方，把一个项目拷到另一个地方，然后在使用git时，提示说是is not a reposity,使用git init,初始化了一个版本库，结果在pull的时候说是有冲突，于是我只能重新fork了一下，重新做，不太明白为什么会有那么多冲突，
2017-07-11 20:34:40
193
转载 scala中集合的操作符号的区别
4种操作符的区别和联系:: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为 x::list,其中x为加入到头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素，也就是说新生成的列表长度为list的长度＋1(btw, x::list等价于list.::(x)):+和+: 两者的区别在于:+方法用于在尾部追加元素，+:方法用于在头部追加元素，
2017-07-10 19:59:55
319
翻译 scala入门及相关知识
第一课：Scala入门1：Scala的重大价值2：Scala基础函数入门实战3：Scala函数入门实战4：Scala中的Array，Map，Tuple实战5：综合案例及Spark源码解析Scala与Java的关系： 一：它们都是基于JVM的，但Scala可以调用Java的任何功能，比如Spark运行在Hadoop上，它可以调用Hadoop上的一切功能。二：你可以
2017-07-04 18:48:00
272
转载 关于倒排索引
今天读到关于倒排索引的一个超级棒的博客，忍不住复制了过来。1.单词——文档矩阵 单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图3-1展示了其含义。图3-1的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。
2017-07-03 17:23:22
242
原创 scala集合浅谈
一直都不太明白函数式编程是什么鬼(这个也是自己以后在使用scala中慢慢需要着重理解的，感觉和js有点差不多)，只是感觉它的语法怪怪的，大概写一下感觉比较重要的东西吧。1.简述声明List的3种方式1>常见的声明方式：var list2>::(2个冒号)+Nil的方式：val data2=10::(20::30::15::Nil)3>与模式进行结合list中常用的一阶函数：
2017-07-03 13:08:09
290
原创 git 学习
对于git总是有一种爱莫能助的心情，要认真总结一下喽，强烈推荐廖雪峰的教程 http://www.liaoxuefeng.com/。git add readme.txt ,实际上就是把文件添加到暂存区git commit -m "123"，实际上就是把暂存区的所有内容提交到当前分支git log 可以查看提交历史git reset --hard HEAD^ 或者 git
2017-07-03 10:46:22
166
原创 关于单点登录统一认证的好的博客
http://m.blog.csdn.net/article/details?id=52439613http://www.open-open.com/lib/view/open1378978694834.htmlhttp://www.ibm.com/developerworks/cn/opensource/os-cn-cas/
2017-02-09 14:48:27
378
转载 java编译和运行的过程
Java整个编译以及运行的过程相当繁琐，本文通过一个简单的程序来简单的说明整个流程。 如下图，Java程序从源文件创建到程序运行要经过两大步骤：1、源文件由编译器编译成字节码（ByteCode） 2、字节码由java虚拟机解释运行。因为java程序既要编译同时也要经过JVM的解释运行，所以说Java被称为半解释语言（ "semi-interpreted
2016-09-24 18:56:15
191
转载 MySQL事务隔离级别详解
博客分类： SQLMySQL数据结构SQL �0�2�0�2�0�2�0�2 �0�2 SQL标准定义了4类隔离级别，包括了一些具体规则，用来限定事务内外的哪些改变是可见的，哪些是不可见的。低级别的隔离级一般支持更高的并发处理，并拥有更低的系统开销。Read Uncommitted（读取未提交内容）�0�2�0�2�0�2�0�2�0�2�0�2 在该隔
2016-09-16 20:48:02
221
转载 Java深入 - Java内存区域详解
2014-06-08 09:14 1025人阅读 评论(0) 收藏 举报 分类：Java深入系列（24） 版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]Java和c c++不一样，c c++都是直接通过手动的方式来申请内存，释放内容。而java拥有良好的内存自动管理机制。所以在我们开发java程序
2016-09-16 18:59:17
168
原创 ioc配置文件
Spring 是什么Spring = IOC (DI) + AOPIOC 反转控制 DI 依赖注入 AOP 面向切面编程spring的特性：1 轻量级2 依赖注入3 AOP4 容器 spring是一个容器 它包含并管理了应用对象的生命周期5 框架 xml+java注解6 一站式 IOC 思想 ： 反转资
2016-09-12 10:06:32
635
原创 web中的常用框架总结-Spring
Spring框架也算是SSH中比较早接触的了，从网上找到一张截图，还挺清晰的。一.Spring框架的概述 1.Spring框架的集成能力还是很强的。2.Spring是一个轻量级的IOC和AOP容器框架: a,轻量级：程序实现不是很复杂，代码不是很多，占用资源不是很多，没有侵入性； b,IOC(Inversion of Control 控制反转)：对象创建责任的反转
2016-08-26 20:33:17
473
转载 大杂烩
cookie添加方法： Cookie nameCookie = new Cookie("username", name); //设置Cookie的有效期为3天 nameCookie.setMaxAge(60 * 60 * 24 * 3); Cookie pwdCookie
2016-08-26 19:09:21
371
转载 过滤器和拦截器以及监听器的作用
http://blog.csdn.net/shehun11/article/details/386389191.过滤器Servlet中的过滤器Filter是实现了javax.servlet.Filter接口的服务器端程序，主要的用途是过滤字符编码、做一些业务逻辑判断等。其工作原理是，只要你在web.xml文件配置好要拦截的客户端请求，它都会帮你拦截到请求，此时你就可以对请求或响
2016-08-26 19:01:45
843
转载 struts模型驱动和属性驱动
Struts2(四)属性驱动和模型驱动2015-10-27 个评论 作者：温布利往事收藏 我要投稿一、概述 所谓模型驱动，就是使用单独的JavaBean实例贯穿整个MVC流程，与之相对应的属性驱动方式，则使用属性作为贯穿MVC流程的信息携带者。属性无法独立存下，它必须依附于一个对象，这个对象就是Action实例。简单来说，
2016-08-26 18:37:24
573
转载 Hibernate总结
hibernate 简介：hibernate是一个开源框架，它是对象关联关系映射的框架，它对JDBC做了轻量级的封装，而我们java程序员可以使用面向对象的思想来操纵数据库。hibernate核心接口session：负责被持久化对象CRUD操作sessionFactory:负责初始化hibernate，创建session对象configuration:负责配置并启动hibernate，创建Sess
2016-08-26 13:20:49
374
原创 web前端总结
Margin：设置外边距，根据上右下左设置边距,允许使用负值，上左下右Js中设置：object.style.margin=”10px5px”Padding是设置内边距的。box-sizing:border-box：box-sizing属性可以为三个值之一：content-box（default），border-box，padding-box。content-box，border和p
2016-08-26 09:44:48
189
cnn图像分类简介
2018-05-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人