- 博客(48)
- 收藏
- 关注
RSS订阅翻译 window+anconda3+pycharm+python3.5 安装xgboost 一路各种坑
在anconda里初始化xgboost后一直不起作用在pycharm里执行代码时候报错无论初始化多少次都是结果如此。。。。。。。。。。参考文章：https://blog.csdn.net/qq_34264472/article/details/53239454但是会报错 python setup.py install 再参考：https://blog.csdn....
2018-07-25 21:23:15
894
转载 hive大数据数据倾斜原因与解决方案总结
转自：http://blog.csdn.net/kexin_010/article/details/53728775在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这
2018-01-23 09:36:29
863
原创 mysql性能优化
分别从范围从大到下，使用过程时间顺序，引擎，表结构，索引，查询四个层次来优化一.架构期建表期优化1.服务器硬件选择，当前服务器的性能是否能够承担目标需求的应用场景2.mysql配置优化，配置最大并发数，调整缓存大小3.选择合适存储引擎，MyISAM适合大量查询的应用场景，避免insert、update，add操作，这样会激发表锁，导致整体不可用状态InnoDB是行锁，适合大量u
2018-01-10 14:46:10
260
转载 决策树学习笔记（二）
决策树学习笔记(二)接着上一篇接着上一篇笔记决策树学习笔记(一)继续学习，上一篇主要是对决策模型的初步认识和理解以及特征选择的一些规则；接下去就是决策树算法的具体实现和优化，包括决策树生成、剪枝以及分类与回归树(CART)详解。分类与回归树模型还会在后续的提升树学习中结合使用。做学习笔记确实是一件比较耗时的事情(已经快被实验室项目榨干精力，期盼周末TT)，仅剩的空闲时间
2017-08-10 15:12:59
506
转载 决策树学习笔记（一）
决策树学习笔记（一）前言For GBDT:提升树、GBDT是以分类树或者回归树为基本分类器的提升方法，在看提升树算法的时候我发现对决策树学习的一些细节并不清晰了，于是决定从头再学一遍。之前的理解还是比较粗浅，一直以为决策树比较简单，类似于很多的简单规则一级一级拼凑起来，其实对决策树的条件概率表示、特征选择、决策树生成以及剪枝都没有真正的掌握。真正的理解算法是要能够非
2017-08-10 15:10:57
353
转载 利用IntelliJ IDEA与Maven开始你的Scala之旅
一. IntelliJ IDEA安装及配置1.1 IntelliJ IDEA下载及安装 首先在 CHOOSE YOUR EDITION 这里选择Community版本，这个版本是免费提供的，对我们的Spark使用来说，用这个版本已经足够了。如下图所示： 直接点击黑色的 DOWNLOAD 按钮会默认开始下载Windows版本的IntelliJ IDEA，如
2017-02-24 10:04:38
1973
转载 redis入门
【本教程目录】1.redis是什么2.redis的作者何许人也3.谁在使用redis4.学会安装redis5.学会启动redis6.使用redis客户端7.redis数据结构 – 简介8.redis数据结构 – strings9.redis数据结构 – lists10.redis数据结构 – 集合11.redis数据结构 – 有序集合12.red
2016-01-11 17:18:30
549
转载 Redis之七种武器
长生剑、孔雀翎、碧玉刀、多情环、离别钩、霸王枪、拳头是古龙笔下的七种武器，而本文打算将Redis的几种使用方式 Strings、Hashs、Lists、Sets、Sorted Sets、Pub/Sub、Transactions 也比作七种武器，为大家讲解Redis的七种特性，并列举其适合的应用场景。StringsStrings 数据结构是简单的key-value类型，value
2016-01-11 16:38:05
320
转载 Redis教程
Redis从它的许多竞争继承来的三个主要特点：Redis数据库完全在内存中，使用磁盘仅用于持久性。 相比许多键值数据存储，Redis拥有一套较为丰富的数据类型。 Redis可以将数据复制到任意数量的从服务器。Redis 优势异常快速：Redis的速度非常快，每秒能执行约11万集合，每秒约81000+条记录。 支持丰富的数据类型：Redis支持最大多数开发人员已经知道像列表，集合
2016-01-11 15:16:50
403
原创 关于算法的学习
推荐一个学习算法入门不错的方法http://blog.csdn.net/sunboy_2050/article/details/5656823
2015-11-18 19:44:53
406
转载 查找算法总结
静态查找结构主要有两种：顺序查找、折半查找一、顺序查找：这个就不用说了，一个一个的差吧，很差劲的算法了，时间复杂度是O(n) public int shunXuSearch( int[] b, int c) { for ( int i = 0; i length; i++) { if (b[i
2015-11-18 19:40:04
615
转载 Strcat，strcpy，strcmp，Strlen函数原型
1、Strcat函数原型如下：char *strcat(char *strDest, const char *strScr) //将源字符串加const，表明其为输入参数{ char * address = strDest; //该语句若放在assert之后，编译出错 assert((strDest != NULL)
2015-11-18 18:28:17
567
转载 浅谈如何提高服务器并发处理能力(来自某位大牛的博客)
目录 (一）什么是服务器并发处理能力(二）有什么方法衡量服务器并发处理能力1.吞吐率2.压力测试（三）怎么提高服务器的并发处理能力1，提高CPU并发计算能力（1）多进程&多线程（2）减少进程切换，使用线程，考虑进程绑定CPU（3）减少使用不必要的锁，考虑无锁编程（4）考虑进程优先级（5）关注系统负载（6）关注CPU使用
2015-11-18 15:20:44
16346
1
原创 linux常用的内核参数的设置
1.共享内存大小的设置临时设置：通过修改/proc/sys/kernel/shmmax参数可以达到此目的。 [root@neirong root]# echo 1073741824 > /proc/sys/kernel/shmmax [root@neirong root]# more /proc/sys/kernel/shmmax 1073741824这里设为1G。
2015-11-18 14:29:24
563
转载 Linux进程间通信--信号，管道，消息队列，信号量，共享内存,socket
linux下的进程通信手段基本上是从Unix平台上的进程通信手段继承而来的。而对Unix发展做出重大贡献的两大主力AT&T的贝尔实验室及BSD（加州大学伯克利分校的伯克利软件发布中心）在进程间通信方面的侧重点有所不同。前者对Unix早期的进程间通信手段进行了系统的改进和扩充，形成了“system V IPC”，通信进程局限在单个计算机内；后者则跳过了该限制，形成了基于套接口（socket）的进程间
2015-11-18 11:32:59
1822
转载 C++中的单例模式其实也不简单
单例模式也称为单件模式、单子模式，可能是使用最广泛的设计模式。其意图是保证一个类仅有一个实例，并提供一个访问它的全局访问点，该实例被所有程序模块共享。有很多地方需要这样的功能模块，如系统的日志输出，GUI应用必须是单鼠标，MODEM的联接需要一条且只需要一条电话线，操作系统只能有一个窗口管理器，一台PC连一个键盘。 单例模式有许多种实现方法，在C++中，甚至可以直接用一个全局变量做
2015-11-18 10:38:13
1106
转载 isten函数的backlog参数解释
Listen函数的原型是：int listen(int socket, int backlog);此函数用于建立tcp连接时监听系统的某一个端口。第一个参数比较好理解，是调用listen之前创建的socket的句柄，第二个参数单从名称不好理解，从linux的man资料来看的解释是tcp半连接队列的大小，至于何为半连接队列则没有做进一步说明，这里详细解释一下第二个参数backlog的含义。说
2015-11-18 10:14:46
484
转载 网络后台开发面试题
1.C++模板的作用。 将算法与具体对象分离，与类型无关，通用，节省精力2.socket编程，如果client断电了，服务器如何快速知道？？？有以下几个技术：使用定时器（适合有数据流动的情况）； 使用socket选项SO_KEEPALIVE（适合没有数据流动的情况）; 3.fork()一子进程程后 父进程癿全局变量能不能使用
2015-11-12 15:24:09
754
转载 宏定义：得到一个field在结构体（struct type）中的偏移量
//OFFSETOF(s, m)的宏定义，s是结构类型，m是s的成员，求m在s中的偏移量。#define OFFSET(s, m) ((size_t) &((s *)0)->m)转自：http://hi.baidu.com/tian_20032242/blog/item/77fd7afa5ffcc29d59ee90ba.html#define OFFSETOF(
2015-11-12 15:11:08
1083
转载 Linux下编译、链接和装载
编译过程在Linux下使用GCC将源码编译成可执行文件的过程可以分解为4个步骤，分别是预处理（Prepressing）、编译（Compilation）、汇编（Assembly）和链接（Linking）。一个简单的hello word程序编译过程如下：1. 预处理首先源代码文件（.c/.cpp）和相关头文件（.h/.hpp）被预处理器cpp预编译成.i文件（C++为.
2015-11-12 14:22:29
385
转载 TCP协议疑难杂症全景解析
个人收藏转自 谢谢博主的总结和分享 http://blog.csdn.net/dog250/article/details/6612496说明：1).本文以TCP的发展历程解析容易引起混淆，误会的方方面面2).本文不会贴大量的源码，大多数是以文字形式描述，我相信文字看起来是要比代码更轻松的3).针对对象：对TCP已经有了全面了解的人。因为本文不会解析TCP头里面的每
2015-11-11 18:00:42
434
转载 红黑树实现Map
红黑树是一种类平衡树, 但它不是高度的平衡树, 但平衡的效果已经很好了. 为什么不用 AVL 树作为底层实现, 那是因为 AVL 树是高度平衡的树, 而每一次对树的修改, 都要 rebalance, 这里的开销会比红黑树大. 红黑树插入只要两次旋转, 删除至多三次旋转. 但不可否认的是, AVL 树搜索的效率是非常稳定的. 选取红黑树, 我认为是一种折中的方案红黑树是一种比较宽泛化的平
2015-10-31 08:16:50
3510
1
转载 STL容器效率比较
1、vector变长一维数组，连续存放的内存块，有保留内存，堆中分配内存；支持[]操作，高效率的随机访问；在最后增加元素时，一般不需要分配内存空间，速度快；在中间或开始操作元素时要进行内存拷贝效率低；vector高效的原因在于配置了比其所容纳的元素更多的内存，内存重新配置会花很多时间；注：需要高效的随即存取，而不在乎插入和删除使用vector。 2、list双向
2015-10-31 08:06:17
525
转载 各种排序算法比较
排序算法汇总总结一、插入排序 直接插入排序（Insertion Sort）的算法描述是一种简单直观的排序算法。它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。插入排序在实现上，通常采用in-place排序（即只需用到O(1)的额外空间的排序），因而在从后向前扫描过程中，需要反复把已排序元素逐步向后挪位，为最新元素提供插入空间。
2015-10-31 08:00:36
500
原创 推荐一个学习linux 命令比较好多方式
原文地址：http://www.cnblogs.com/peida/tag/%E6%AF%8F%E6%97%A5%E4%B8%80linux%E5%91%BD%E4%BB%A4/default.html?page=1注：像这位仁兄一样每天一个命令工具的学习总结，对自己的进步应该很有帮助！
2015-10-27 11:14:23
340
原创 linux性能分析工具总结（初级工具篇）
1.uptimeuptime命令是用来查询linux系统负载的！用法：直接输入uptime即可.另外还有一个参数 -V(大写)，是用来查询版本的procps是一个实用程序包，主要包括ps top kill等程序主要用来显示与控制一些系统信息，进程状态之类的内容。以下显示输入uptime的信息：04:03:58 up 10 days, 13:19, 1
2015-10-27 09:43:38
4023
转载 linux后台开发常用调试工具
一、编译阶段nm 获取二进制文件包含的符号信息strings 获取二进制文件包含的字符串常量strip 去除二进制文件包含的符号readelf 显示目标文件详细信息objdump 尽可能反汇编出源代码addr2line 根
2015-10-23 14:35:24
1129
转载 Linux内存调试工具—Valgrind
一 valgrind是什么？Valgrind是一套Linux下，开放源代码（GPL V2）的仿真调试工具的集合。Valgrind由内核（core）以及基于内核的其他调试工具组成。内核类似于一个框架（framework），它模拟了一个CPU环境，并提供服务给其他工具；而其他工具则类似于插件 (plug-in)，利用内核提供的服务完成各种特定的内存调试任务。Valgrind的体系结构
2015-10-23 14:20:42
660
转载 Linux服务器性能测试工具介绍
前言作为服务器开发人员，对性能应该非常的敏感，在服务器设计和编码时就应该充分考虑到性能问题，但如果写出来的程序，或者已经存在的程序在运行中出现了性能问题，我们又如何下手去找出问题并解决呢？这不仅靠的是经验，还需要借助一些工具来辅助分析。本文将以一个实例为样本，介绍几款linux下常用的性能分析工具的使用以及各自的优缺点，请注意如无特别说明，本文出现的环境均为linux环境。Linux下
2015-10-23 14:08:57
3965
转载 socket的发送与接收缓冲区
应用程序可通过调用send(write, sendmsg等)利用tcp socket向网络发送应用数据，而tcp/ip协议栈再通过网络设备接口把已经组织成struct sk_buff的应用数据(tcp数据报)真正发送到网络上，由于应用程序调用send的速度跟网络介质发送数据的速度存在差异，所以，一部分应用数据被组织成tcp数据报之后，会缓存在tcp socket的发送缓存队列中，等待网络空闲时
2015-10-22 17:23:53
11228
转载 Makefile自动生成工具-----autotools的使用（详细）
相信每个学习Linux的人都知道Makefile，这是一个很有用的东西，但是编写它是比较复杂，今天介绍一个它的自动生成工具，autotools的使用。很多GNULinux的的软件都是用它生成Makefile的，包括我们非常熟悉的Linux内核源代码。 1、准备: 需要工具 autoscan aclocal autoheader
2015-10-21 18:09:52
1106
转载 使用VS2013+VisualGDB开发Linux程序图文教程
Linux程序开发变得越来越多，越来越多的程序、产品需要跨平台，甚至有些开源项目只支持Linux平台，所以掌握Linux开发变得越来越重要。但是对于习惯了Windows下的开发，使用了VS这个宇宙第一IDE后，觉得Linux下的纯命令行开发调试，还是有些不习惯，效率有些低（大神除外）。那么能不能用VS来开发调试Linux程序呢，经过各种查找，找到了VisualGDB这个神奇的插件，通过VS
2015-10-21 15:37:08
5227
转载 g++参数介绍
gcc and g++分别是gnu的c & c++编译器 gcc/g++在执行编译工作的时候，总共需要4步 1.预处理,生成.i的文件 预处理器cpp2.将预处理后的文件不转换成汇编语言,生成文件.s 编译器egcs3.有汇编变为目标代码(机器代码)生成.o的文件 汇编器as4.连接目标代码,生成可执行程序
2015-10-21 10:09:27
357
原创 学习Makefile最好的教材
http://wiki.ubuntu.org.cn/%E8%B7%9F%E6%88%91%E4%B8%80%E8%B5%B7%E5%86%99Makefile
2015-10-21 10:07:59
532
转载 GCC优化选项简单说明
gcc默认提供了5级优化选项的集合:-O0:无优化(默认)-O和-O1:使用能减少目标文件大小以及执行时间并且不会使编译时间明显增加的优化.在编译大型程序的时候会显著增加编译时内存的使用.-O2: 包含-O1的优化并增加了不需要在目标文件大小和执行速度上进行折衷的优化.编译器不执行循环展开以及函数内联.此选项将增加编译时间和目标文件的执行性能.-Os:专门优化目标文
2015-10-21 10:06:46
419
转载 值得推荐的C/C++框架和库
值得学习的C语言开源项目- 1. Webbench Webbench是一个在linux下使用的非常简单的网站压测工具。它使用fork()模拟多个客户端同时访问我们设定的URL，测试网站在压力下工作的性能，最多可以模拟3万个并发连接去测试网站的负载能力。Webbench使用C语言编写, 代码实在太简洁，源码加起来不到600行。下载链接：http://home.tiscali.
2015-10-20 11:39:05
503
转载 http 错误代码表
所有 HTTP 状态代码及其定义。 代码 指示 2xx 成功 200 正常；请求已完成。 201 正常；紧接 POST 命令。 202 正常；已接受用于处理，但处理尚未完成。 203 正常；部分信息 — 返回的信息只是一部分。 204 正常；无响应 — 已接收请求，但不存在要回送的信息。 3xx 重定向 301 已移动 — 请
2015-10-19 11:35:34
322
原创 进程与线程
一.进程与线程的区别进程是程序执行时的一个实例，即它是程序已经执行到课中程度的数据结构的汇集。从内核的观点看，进程的目的就是担当分配系统资源（CPU时间、内存等）的基本单位。线程是进程的一个执行流，是CPU调度和分派的基本单位，它是比进程更小的能独立运行的基本单位。一个进程由几个线程组成（拥有很多相对独立的执行流的用户程序共享应用程序的大部分数据结构），线程与同属一个进程的其他的线
2015-10-18 22:07:10
347
转载 Linux流量监控工具
类Unix系统中可以使用top查看系统资源、进程、内存占用等信息。查看网络状态可以使用netstat、nmap等工具。若要查看实时的网络流量，监控TCP/IP连接等，则可以使用iftop。一、iftop是什么？iftop是类似于top的实时流量监控工具。官方网站：http://www.ex-parrot.com/~pdw/iftop/二、iftop有什么用？
2015-10-18 21:10:34
627
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人