- 博客(32)
- 资源 (4)
- 问答 (2)
- 收藏
- 关注
RSS订阅转载 Hadoop Combine 的作用
本机数据的规约，以减少 map 向 reduce 传递的数据，节约 IO 时间，节省 reduce 的时间，最终提高 MR 性能。一、Combiner的出现背景1.1 回顾Map阶段五大步骤 在第四篇博文《初识MapReduce》中，我们认识了MapReduce的八大步凑，其中在Map阶段总共五个步骤，如下图所示： 其中，step1.5是一个可选步骤，它就是我们今天需...
2019-10-30 19:23:46
1887
原创 typeid().name() 返回 Ss ?
Ssis the mangled name forstd::basic_string<char, std::char_traits<char>, std::allocator<char>>其实就是个 std::string ,只不过名字太长，在内部被简化了。
2019-10-30 19:17:02
1167
原创 Linux 基础知识 磁盘配额 quota
一、什么是磁盘配额磁盘配额从字面意思上看就是给一个磁盘配置多少额度，而quota就是有多少限额的意思，所以总的来说就是限制用户对磁盘空间的使用量。因为Linux是多用户多任务的操作系统，许多人公用磁盘空间，举个例子像/home目录是存放普通用户家目录的地方，我们假如home目录一共有10G空间，而home下一共有三个用户，那么正常划分的话每个人应该是分得大概333M空间，但是其中有个用...
2019-10-30 18:59:09
719
原创 mysql 复制数据库
mysqldump假设已经存在的数据库名字叫db1，想要复制一份，命名为newdb。步骤如下：1. 首先创建新的数据库newdb #mysql -u root -ppassword mysql>CREATE DATABASE `newdb` DEFAULT CHARACTER SET UTF8 COLLATE UTF8_GENERAL_CI; 2....
2019-10-29 20:09:32
376
原创 Mysql Error 2002: Can't connect to local MySQL server through socket
首先查看一下mysql是否启动，ps -ef | grep mysqld如果没有，则启动mysql：sh ~/ 你的mysql 安装目录/bin/mysqld_safe --user=mysql &如果有，则关闭后重新启动：依次kill掉 ~/你的mysql 安装目录/bin/mysqld_safe 和 ~/ 你的mysql 安装目录/bin/mysqld 的进程创建roo...
2019-10-29 19:23:14
410
原创 python 多个装饰器函数的执行顺序
先背背定义：装饰器是Python用于封装函数或类的代码工具，是Python函数的高级特性之一。其主要功能是使某个函数在不需要做任何变动的前提下增加额外功能，即对某个函数进行功能”装饰“；主要作用是可以提高代码的可读性、简洁性以及扩展性，常用于后期功能升级；具体做法是将一些特定或者通用的方法写成装饰器，在待装饰函数定义前加上@+装饰器名称。思想上和栈结构的先入后出是一样的执行起来是...
2019-10-27 00:07:11
617
原创 python 定时任务的实现方式
https://blog.51cto.com/huangyg/2367088APScheduler 比较好用，简单方便定时任务，可能有写需要涉及到一些内容的实时更新，这里可能就会用到双缓冲的思想http://blog.codeg.cn/2016/01/27/double-buffering/其实解决的就是数据的热加载问题...
2019-10-26 23:45:18
303
转载 GIt 常用操作
开发过程中，你肯定会遇到这样的场景：场景一：糟了，我刚把不想要的代码，commit到本地仓库中了，但是还没有做push操作！场景二：彻底完了，刚线上更新的代码出现问题了，需要还原这次提交的代码！场景三：刚才我发现之前的某次提交太愚蠢了，现在想要干掉它！撤销上述场景一，在未进行git push前的所有操作，都是在“本地仓库”中执行的。我们暂且将“本地仓库”的代码还原操作...
2019-10-26 23:32:01
272
原创 Python @functools.wraps 的作用
1：装饰器是干什么用的？为了对一个函数在运行期的功能的拓展2：装饰器加上之后产生的问题：解释器认为函数本身发生了改变，其函数本身的属性改变了，在某些情况下——比如测试时——会导致一些问题Python 通过functool.wraps为我们解决了这个问题：在编写装饰器时，在实现前加入@functools.wraps(func)可以保证装饰器不会对被装饰函数造成影响。...
2019-10-26 23:14:59
1647
原创 Linux 常用命令 curl 模拟 post/get 请求
举例：curl http://10.77.129.43:8058/ 发一个空请求发送GET请求：curl protocol://address:port/url?argscurl http://127.0.0.1:8080/login?admin&passwd=12345678使用curl发送POST请求：curl -d "args" protocol://add...
2019-10-22 21:20:20
492
原创 Linux 常用命令 ifconfig 查看 IP 地址
[root@localhost ~]# ifconfigeth0 Link encap:Ethernet HWaddr 00:50:56:BF:26:20 inet addr:192.168.120.204 Bcast:192.168.120.255 Mask:255.255.255.0 UP BROADCAST RUNNING MU...
2019-10-22 21:11:14
6434
3
转载 Python并发编程之谈谈线程中的“锁机制”
本文目录何为Lock（ 锁 ）？ 如何使用Lock（ 锁 ）？ 为何要使用锁？ 可重入锁（RLock） 防止死锁的加锁机制 饱受争议的GIL（全局锁）. 何为Lock（ 锁 ）？何为 Lock( 锁 )，在网上找了很久，也没有找到合适的定义。可能 锁 这个词已经足够直白了，不需要再解释了。但是，对于新手来说，我还是要说下我的理解。我自己想了个生活中例子来看下。...
2019-10-22 21:07:11
259
原创 Flask启动app.run(host='0.0.0.0',port=5000)，外网依然不能访问
把端口改成 80 开头的，比如：8058flask 默认是5000端口，
2019-10-22 21:04:34
3175
原创 gunicorn -k 参数详解 （worker type）
网上最简单的说法：worker_class-k STRTING, --worker-class STRTING要使用的工作模式，默认为sync。可引用以下常见类型“字符串”作为捆绑类：synceventlet：需要下载eventlet>=0.9.7gevent：需要下载gevent>=0.13tornado：需要下载tornado>=0.2gthreadg...
2019-10-22 21:00:48
4073
1
原创 解决多进程中APScheduler重复运行的问题
问题在一个python web应用中需要定时执行一些任务，所以用了APScheduler这个库。又因为是用flask这个web框架，所以用了flask-apscheduler这个插件（本质上与直接用APScheduler一样，这里不作区分）。在开发中直接测试运行是没有问题的，但是用gunicorn部署以后发生了重复运行的问题：每个任务在时间到的时刻会同时执行好几遍。注意了一下重复的数...
2019-10-22 16:06:39
9346
7
原创 AssertionError: View function mapping is overwriting an existing endpoint function
问题：给两个函数添加两个装饰器@app.route("/path1")@exception_handlerdef func1(): [email protected]("/path2")@exception_handlerdef func2(): pass这样就会造成函数名的重定义。解决：改一下包装的函数名即可：wrapper.__name__ = fun...
2019-10-22 16:01:48
990
原创 LGTM? 那些迷之缩写
就像你可能不知道现充其实是现实生活很充实的人生赢家的缩写一样，我们经常看到 Github 上的码农们在 code review 时，把乱七八糟的缩写写得到处都是——娴熟的司机们都会使用缩写来达到提高逼格的效果——我们第一次看到时还是会出现一脸懵逼的状况，这里整理一下这些缩写都是什么含义，以后我们也可以欢快地装逼了。PR:Pull Request. 拉取请求，给其他项目提交代码...
2019-10-22 15:54:38
8628
4
转载 python GIL
GIL是什么首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC，INTEL C++，Visual C++等。Python也一样，同样一段代码可以通过CPython，PyPy，Psyco等不同的Python执行环境来执行。像其中的...
2019-10-21 17:55:25
167
原创 python 赋值、浅拷贝与深拷贝
直接赋值：其实就是对象的引用（别名）。 浅拷贝(copy)：拷贝父对象，不会拷贝对象的内部的子对象。 深拷贝(deepcopy)：copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象。 字典浅拷贝实例实例>>>a = {1: [1,2,3]} >>> b = a.copy() >>> ...
2019-10-21 17:25:44
214
原创 127.0.0.1
https://baike.baidu.com/item/127.0.0.1/4563698#1百度百科讲解的很全面，就是本机的 IP 地址，常用于网络测试。
2019-10-21 15:11:38
383
原创 Mysql 索引
一、PRI主键约束；UNI唯一约束；MUL可以重复。参考：http://www.cnblogs.com/licheng/archive/2010/10/16/1852938.html二、超键(super key):在关系中能唯一标识元组的属性集称为关系模式的超键候选键(candidate key):不含有多余属性的超键称为候选键主键(primary key):用户选作元...
2019-10-18 16:59:51
224
原创 MySQL 常用操作入门
MySQL 的常用操作注意：MySQL 中每个命令后都要以分号;结尾。1、显示数据库mysql > show databases;+———-+| Database |+———-+| mysql || test |+———-+2 rows in set (0.04 sec)Mysql 刚安装完有两个数据库：mysql 和test。mysql ...
2019-10-17 19:52:53
252
原创 -bash: !": event not found
在shell脚本中，这个符号需要加转义字符，加上“\”反转意符号即可解决。"cdhxdashjb!""cdhxdashjb\!"即可
2019-10-17 19:50:27
203
原创 switch Error: Jump to case label
switch(foo) { case 1: int i = 42; // i exists all the way to the end of the switch dostuff(i); break; case 2: dostuff(i*2); // i is *also* in scope here, but is not initialized!}...
2019-10-15 15:26:47
270
原创 python 交互式编程与脚本式编程
交互式编程交互式编程不需要创建脚本文件，是通过 Python 解释器的交互模式进来编写代码。linux上你只需要在命令行中输入 Python 命令即可启动交互式编程,提示窗口如下：$ pythonPython 2.7.6(default,Sep 92014,15:04:36)[GCC 4.2.1 Compatible Apple LLVM6.0(clang-600....
2019-10-07 16:57:14
6143
原创 python 第二行的编码问题
Python中默认的编码格式是 ASCII 格式，在没修改编码格式时无法正确打印汉字，所以在读取中文时会报错。解决方法为只要在文件开头加入# -*- coding: UTF-8 -*-或者# coding=utf-8就行了（py3 默认的就是 utf-8 了）注意：# coding=utf-8的=号两边不要空格。#!/usr/bin/python # -*- co...
2019-10-07 16:54:55
270
原创 Linux 基础知识 .bashrc环境配置
相信是个新手入门的老大难问题了，仔细看看吧：bashrc文件主要保存个人的一些个性化设置，如命令别名、路径等。也即在同一个服务器上，只对某个用户的个性化设置相关。它是一个隐藏文件，需要使用ls -a来查看。 .bash_history 记录之前输入的命令 .bash_logout 当你退出时执行的命令 .bash_profile 当你登入shell时执行...
2019-10-07 16:18:20
2044
原创 Linux 基础知识 /opt 目录与 /usr/local 目录
1. opt 目录/opt 目录用来安装附加软件包，是用户级的程序目录，可以理解为 D:/Software。安装到 /opt 目录下的程序，它所有的数据、库文件等等都是放在同个目录下面。opt 有可选的意思，这里可以用于放置第三方大型软件（或游戏），当你不需要时，直接rm -rf掉即可。在硬盘容量不够时，也可将 /opt 单独挂载到其他磁盘上使用。2. /usr/local目录...
2019-10-07 16:06:03
12372
1
原创 Linux 基础知识 /bin,/sbin,/usr/sbin,/usr/bin 目录 区别详解
说到 Linux 的目录：Linux中的某些重要的目录：•主目录：/root、/home/username•用户可执行文件：/bin、/usr/bin、/usr/local/bin•系统可执行文件：/sbin、/usr/sbin、/usr/local/sbin•其他挂载点：/media、/mnt•配置：/etc•临时文件：/tmp•内核和Bootloader：/boot•服务器数...
2019-10-07 15:55:39
5546
原创 python 第一行 #!/usr/bin/python 详解
关于脚本第一行的#!/usr/bin/python的解释，相信很多不熟悉 Linux 系统的同学需要普及这个知识.脚本语言的第一行 (只对 Linux/Unix 用户适用) 用来指定本脚本用什么解释器来执行。有这句的，加上执行权限后，可以直接用./执行，不然会出错，因为找不到 python 解释器。#!/usr/bin/python 是告诉操作系统执行这个脚本的时候，调用 /u...
2019-10-07 15:41:02
10983
仿宋GB2312字体
2017-05-22
2017 华为软件精英挑战赛赛题
2017-04-03
Faststone6.9安装包
2017-01-07
std::thread 绑定函数出错
2019-07-08
PCL1.5 可视化点云中怎样添加一个colorbar
2018-10-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人