qq_25954159的博客

原创 spark-shell.sh脚本分析

#!/usr/bin/env bash## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional informati

转载 Spark性能调优

基本概念和原则首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起：每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor，task们会被分配到executor上面去执行。Stage指的是一组并行运行的task，stage内部是不能出现shuffle的，因为shuffle的就像篱笆一样阻止了并行task的运行，遇到shuf

原创 Docker安装

使用centos7安装Docker还是很容易的，非root用户1.更新yum：sudo yum -y update2.安装： sudo yum install docker3.启动：systemctl  start docker.service4开机启动：systemctl enable docker.servicedocker daemon 总是使用root用户运行，所以

原创 欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

原创 websocket（消息驱动）

WebSocket API是下一代客户端-服务器的异步通信方法。该通信取代了单个的TCP套接字，使用ws或wss协议，可用于任意的客户端和服务器程序。WebSocket目前由W3C进行标准化。WebSocket已经受到Firefox 4、Chrome 4、Opera 10.70以及Safari 5等浏览器的支持。WebSocket API最伟大之处在于服务器和客户端可以在给定的时间范围内的任意

原创 Lucene原理图

原创 单元测试 : No Session found for current thread

切点配置错误，一点搞错害死人正确为： <aop:pointcut expression="execution(* com.hunter.cis..service..*.*(..))" id="txPointcut"/>

原创 AJAX

$(document).ready(function() { console.info("1-----------") $('#formforlogins').submit(function(e) { console.info("2-----------") $.post('logins', $(this).serialize(),function(person

原创 算法基础

1.冒泡for(int i= 0;i     for(int j=m.length-1;j>i;i--){                if(a[j]                   int k=a[j];                   a[j]=a[j-1];                   a[j-1]=k;                }

原创 Sqoop

是一个用来将Hive或Hbase，HDFS和关系型数据库中的数据相互转移的工具可以将mysql ，oracle，Postgres......各种关系型数据库的数据导入hadoop的hdfs上，也可以将HDFS文件系统上的数据导入关系型数据库中

原创 Hive（一个数据仓库）

一个基于HDFS的数据仓库