- 博客(98)
- 收藏
- 关注
RSS订阅转载 Spark调优之推测执行
https://blog.csdn.net/u012710313/article/details/88300106基本概念在spark程序中，推测任务是指对于一个stage里面拖后腿的task，会在其他节点的Executor上再次启动这个task，如果其中一个task的实例运行成功者将这个最先完成的task的计算结果，同时会干掉其它Executor上运行的实例。默认情况下推测执行时关闭的。开启推测的优点：解决慢task提升作业的整体执行进度解决分布式集群环境下...
2020-07-21 16:47:07
396
转载 对数据仓库Hive的一些认识
首先我们得明白什么是数据仓库？ 数据仓库，英文名称为Data warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工...
2019-01-08 10:58:45
238
转载 【Elasticsearch】Java Client入门
序言Elasticsearch(名称太长，后面简称ES)作为一个搜索引擎，目前可谓是如日中天，几乎和solr齐驾并驱。关于他能做什么，跟云计算有什么关系，在此不再描述。但是ES的官方文档，特别是关于java的客户端文档，真是少的可怜，甚至连个完整的增删改的示例都没有。在此，我就献丑了。 在开始讲解之前，还是先做个铺垫，为了能够有一个可以索引的模型，我们自定义了一个模型，暂时起个名称叫Log
2018-01-31 14:34:22
454
转载 Elasticsearch 5.X下JAVA API使用指南
Elasticsearch 5.0下Java API使用指南一.2.X到5.XElasticsearch 2.x使用java api把elasticsearch安装包下的lib文件夹下的jar文件全部加入到工程类路径即可,换到5.x就不适用了.创建Clien的代码:Settings settings = Settings.builder().put("cluster.name"
2018-01-31 14:20:46
336
转载 zookeeper的安装和部署
一、系统要求ZooKeeper可以运行在多种系统平台上面，表1展示了zk支持的系统平台，以及在该平台上是否支持开发环境或者生产环境。表1：ZooKeeper支持的运行平台系统开发环境生产环境Linux支持支持Solaris支持支持FreeBSD支持
2018-01-03 18:04:04
211
转载 Github错误：fatal: Authentication failed for 'https://github.com/ ...
GitHub push代码发生错误：fatal: Authentication failed for 'https://github.com/ ...使用的https提交，在用SourceTree提交代码时候发生错误，返回的错误提示说：[plain] view plain copyfatal: Authentication failed fo
2017-12-29 11:05:19
2754
转载 Django 中针对基于类的视图添加 csrf_exempt
在Django中对于基于函数的视图我们可以 @csrf_exempt 注解来标识一个视图可以被跨域访问。那么对于基于类的视图，我们应该怎么办呢？简单来说可以有两种访问来解决方法一：在类的 dispatch 方法上使用 @csrf_exemptfrom django.views.decorators.csrf import csrf_exemptclass MyView(Vi
2017-12-22 17:37:30
671
转载 Wget用法、参数解释的比较好的一个文章
wget是一个从网络上自动下载文件的自由工具。它支持HTTP，HTTPS和FTP协议，可以使用HTTP代理. 所谓的自动下载是指，wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统，启动一个wget下载任务，然后退出系统，wget将在后台执行直到任务完成，相对于其它大部分浏览器在下载大量数据时需要用户一直的参与，这省去了极大的麻烦。 wget 可以跟踪HTML页面上的链
2017-12-19 14:04:47
221
转载 A记录和CNAME记录的区别
1、什么是域名解析？域名解析就是国际域名或者国内域名以及中文域名等域名申请后做的到IP地址的转换过程。IP地址是网路上标识您站点的数字地址，为了简单好记，采用域名来代替ip地址标识站点地址。域名的解析工作由DNS服务器完成。2、什么是A记录？A (Address) 记录是用来指定主机名（或域名）对应的IP地址记录。用户可以将该域名下的网站服务器指向到自己的w
2017-12-19 11:38:07
564
转载 linux内存清理和swap内存释放办法
如果swap空间使用到30%以上，系统就变得很慢，如果物理内存够，就需要清理下。原文：http://wushank.blog.51cto.com/3489095/1255906先应该同步一下[root@mysql172 ~]# sync再执行echo 1 > /proc/sys/vm/drop_caches查看内存占用情况[r
2017-12-18 10:39:39
1064
转载 脚踏实地云 mysql-proxy做客户端连接转发【外网访问内网mysql】
功能用于外网客户端连接内网的MySQL，将此工具安装在中转服务器上。软件版本mysql-proxy-0.8.1-linux-rhel5-x86-64bit.tar.gz简单的配置过程解压后有5个目录bin include lib libexec share进bin目录，查看mysql_proxy的使用帮助[root@ora01 bin]# ./mysql-proxy --h
2017-12-14 12:45:18
573
转载 CentOS7安装mysql提示“No package mysql-server available
在CentOS7上安装mysql时，出现了以下的提示：原因是：CentOS7带有MariaDB而不是MySQL，MariaDB和MySQL一样也是开元的数据库，您可以使用yum -y install mariadb-server mariadb命令安装解决方案：如果必须要安装MySQL，首先必须添加mysql社区repo通过输入命令：sudo rpm -
2017-12-13 15:47:15
381
转载 Linux中nc的安装
在Linux中有一个级强大的网络工具netcat，在默认情况下面都是没有安装的，现在介绍一下安装过程 其实安装很简单只需输入命令[root@SZB-L0032015 ~]# yum install -y nc1[root@SZB-L0032015 ~]# yum install -y ncLoaded plugins: fastestmirror, refresh-packa
2017-12-13 09:49:07
6477
转载 rsync限速
有些机房会限制机器的流量，为了不触及底线，在使用scp和rsync的时候都要注意。为了避免你的scp或者rsync因为无良＆懒惰的OPS设置防火墙的偷懒而造成的断流现象，我们必须对自己的数据传输进行一定的限流措施，慢一点总比被掐了的好。因此（限制为 1M Bytes/s）：scp -l 10000 某个大文件 你的账号@远程的机器或者rsync是（限制为 60k Bytes/s）：
2017-12-13 09:38:18
5398
转载 Nginx详细安装部署教程
一、Nginx简介Nginx是一个web服务器也可以用来做负载均衡及反向代理使用，目前使用最多的就是负载均衡，具体简介我就不介绍了百度一下有很多，下面直接进入安装步骤二、Nginx安装1、下载Nginx及相关组件Linux系统是Centos 6.5 64位，我直接切换到root用户下安装进入用户目录下载程序下载相关组件[r
2017-12-13 09:34:31
177
转载 Django的是如何工作的
如果你看过我之前所写的关于django的文章的话，你会发现每一篇都具有可操作性，都是从创建项目开始的，虽然中间之加了一些要讲解的重点。这也是我博文的特点，我希望在你看到我这一篇文章的时候是可操作的，不管是否具备了相关基础。如果你是第一次接触django，建议参考我的之关于django的内容练习一下：http://www.cnblogs.com/fnng/category/58125
2017-12-06 19:06:42
267
转载 无状态服务 VS 有状态服务
对服务器程序来说，究竟是有状态服务，还是无状态服务，其判断依旧是指两个来自相同发起者的请求在服务器端是否具备上下文关系。如果是状态化请求，那么服务器端一般都要保存请求的相关信息，每个请求可以默认地使用以前的请求信息。而对于无状态请求，服务器端所能够处理的过程必须全部来自于请求所携带的信息，以及其他服务器端自身所保存的、并且可以被所有请求所使用的公共信息。 无状态的服务器程序，最著
2017-12-06 17:13:12
300
转载 玩转lua：搞懂lua潜规则
Lua可以被C/C++ 代码调用，反过来也可以调用C/C++的函数，这使得Lua被广泛应用。Lua由标准C编写而成，代码简洁优美，几乎在所有操作系统和平台上都可以编译，运行。Lua在目前解释型脚本引擎中，速度是最快的，这决定了Lua嵌入式脚本的最佳选择。文章列举lua使用中遇到的小问题，做个汇总。if判断lua把 nil 和false 视为“假”，其他都为“
2017-11-23 15:24:07
560
转载 python操作MySQL数据库
坚持每天学一点，每天积累一点点，作为自己每天的业余收获，这个文章是我在吃饭的期间写的，利用自己零散的时间学了一下python操作MYSQL，所以整理一下。我采用的是MySQLdb操作的MYSQL数据库。先来一个简单的例子吧：12345678910import MySQ
2017-11-21 16:24:16
188
转载 git config 配置
1. git config简介 我们知道config是配置的意思，那么git config命令就是对git进行一些配置。而配置一般都是写在配置文件里面，那么git的配置文件在哪里呢？互动一下，先问下大家。你们所知的git配置文件是放在哪里的？git有几个配置文件呢？是的，聪明的你，稍微查查资料就知道咯，git里面一共有3个配置文件，首先是：仓库级配置文件：该文件位于
2017-11-14 14:55:24
340
转载 解决linux的-bash: ./xx: Permission denied
转载地址：http://blog.csdn.net/memray/article/details/17531853在linux下执行sh文件时提示下面信息：-bash: ./xx.sh: Permission denied解决：chmod 777 xx.sh Linux chmod +755和chmod +777 各是什么意思呢？75
2017-11-14 11:44:58
13260
1
转载 一个不错的shell 脚本教程 入门级
转载地址：http://www.jb51.net/article/28514.htm建立一个脚本 Linux中有好多中不同的shell，但是通常我们使用bash (bourne again shell) 进行shell编程，因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash（但是在大多数情况下，这些脚本同样可以在 bash的大姐，bourne
2017-11-14 11:35:17
147
转载 linux下的find文件查找命令与grep文件内容查找命令
在使用linux时，经常需要进行文件查找。其中查找的命令主要有find和grep。两个命令是有区的。 区别：(1)find命令是根据文件的属性进行查找，如文件名，文件大小，所有者，所属组，是否为空，访问时间，修改时间等。 (2)grep是根据文件的内容进行查找，会对文件的每一行按照给定的模式(patter)进行匹配查找。 一.find命令
2017-11-14 09:25:13
136
转载 Git 忽略.idea/workspace.xml文件
写在前面：git忽略的原理： git设置本地忽略必须保证git的远程仓库分支上没有这个要忽略的文件，如果远程分支上存在这个文件，本地在设置ignore将不起作用。=========================================所以一般是在.gitignore 文件里面加入 .idea/ workspace.xml 即可，但是如果你在这
2017-11-14 09:21:26
749
转载 运行python脚本的几种方法
linux有下列的几种方法来运行python脚本：（注:我所用的python环境为 2.6）一. 终端命令行下[]$python "name.py"二. python环境中若脚本名称为name.py，其内容为：a='head'b='hehe'print(a,b)则使用 >>>impport name针对此种方法我们 使用下面的语句来
2017-11-10 09:42:00
4278
转载 python 分片、截断序列
介绍这篇文章主要介绍python对序列的分片方法。通过分片规则可以很简单的处理一些复杂的for循环操作。 序列概念在分片规则里list、tuple、str(字符串)都可以称为序列，都可以按规则进行切片操作 切片操作注意切片的下标0代表顺序的第一个元素，-1代表倒序的第一个元素；且切片不包括右边界，例如[0:3]代表元素0、1、2不包括3
2017-11-08 15:59:11
619
转载 python 中对配置文件的解析 ConfigParser & ConfigObj
python中对于配置文件解析模块有configparser和configobj，但是confiparser有如下的一些缺点1，不能区分大小写。2，重新写入的ini文件不能保留原有INI文件的注释。3，重新写入的ini文件不能保持原有的顺序。4，不支持嵌套。5，不支持格式校验。我本来是想扩展ConfigParser来支持上面的一些缺点的，但是我觉得应该有人有类似
2017-11-08 14:51:47
360
转载 Python读写文件
Python读写文件1.open使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。file_object = open('thefile.txt')try: all_the_text = file_object.read( )finally: file_object.close
2017-11-08 09:45:16
214
转载 无状态服务 VS 有状态服务
对服务器程序来说，究竟是有状态服务，还是无状态服务，其判断依旧是指两个来自相同发起者的请求在服务器端是否具备上下文关系。如果是状态化请求，那么服务器端一般都要保存请求的相关信息，每个请求可以默认地使用以前的请求信息。而对于无状态请求，服务器端所能够处理的过程必须全部来自于请求所携带的信息，以及其他服务器端自身所保存的、并且可以被所有请求所使用的公共信息。 无状态的服务器程序，最著
2017-11-06 09:51:08
130
转载 SVN 安装与使用教程总结
转载：http://www.cnblogs.com/armyfai/p/3985660.htmlSVN简介： 为什么要使用SVN？ 程序员在编写程序的过程中，每个程序员都会生成很多不同的版本，这就需要程序员有效的管理代码，在需要的时候可以迅速，准确取出相应的版本。Subversion是什么？ 它是一个自由/开源的版本控制系统，一组文件存放在
2017-11-02 19:58:35
173
转载 Linux下用户组、文件权限详解
用户组在linux中的每个用户必须属于一个组，不能独立于组外。在linux中每个文件有所有者、所在组、其它组的概念- 所有者- 所在组- 其它组- 改变用户所在的组 所有者一般为文件的创建者，谁创建了该文件，就天然的成为该文件的所有者用ls ‐ahl命令可以看到文件的所有者也可以使用chown 用户名 文件名来修改文件
2017-11-02 09:59:46
342
转载 JSON Web Token - 在Web应用间安全地传递信息
JSON Web Token（JWT）是一个非常轻巧的规范。这个规范允许我们使用JWT在用户和服务器之间传递安全可靠的信息。让我们来假想一下一个场景。在A用户关注了B用户的时候，系统发邮件给B用户，并且附有一个链接“点此关注A用户”。链接的地址可以是这样的1https://your.awesome-app.com/make-friend/?from_us
2017-10-31 16:22:31
184
转载 Django里的数据同步migrations命令
一个关键的目录： 目录名：migrations 作用：用来存放通过makemigrations命令生成的数据库脚本，这里的内容一般不要手动去改 规定：app目录下必须要有migrations目录且目录下必须有__init__.py才能正常使用数据库同步的功能一个关键的表 表名：django_migrations 作用：记录脚本的使用情况 字段：
2017-10-27 14:38:00
755
转载 django-request对象
HTTP 应用的信息是通过 请求报文 和 响应报文 传递的，关于更多的相关知识，可以阅读《HTTP权威指南》获得。 其中 请求报文 由客户端发送，其中包含和许多的信息，而 django 将这些信息封装成了 HttpRequest 对象，该对象由 HttpRequest 类创建。每一个请求都会生成一个 HttpRequest 对象，django会将这个对象自动传递给响应的视图函数，一般视图
2017-10-24 11:29:57
337
转载 Python用subprocess的Popen来调用系统命令
当我们需要调用系统的命令的时候，最先考虑的os模块。用os.system()和os.popen()来进行操作。但是这两个命令过于简单，不能完成一些复杂的操作，如给运行的命令提供输入或者读取命令的输出，判断该命令的运行状态，管理多个命令的并行等等。这时subprocess中的Popen命令就能有效的完成我们需要的操作。在这里对Popen予以简单介绍。下面是一个很简单的例子，来自Python的
2017-10-23 17:51:39
625
转载 urllib2.urlopen超时问题
原帖地址：http://hi.baidu.com/yss1983/item/933fbe45a09c43e01381da06问题描述： 没有设置timeout参数，结果在网络环境不好的情况下，时常出现read()方法没有任何反应的问题，程序卡死在read()方法里，搞了大半天，才找到问题，给urlopen加上timeout就ok了，设置了timeout之后超时之后read超时
2017-10-19 16:31:59
292
转载 Python语言学习讲解七：使用traceback获取详细的异常信息
[python] view plain copy1. try: 2. 1/0 3. except Exception,e: 4. print e 输出结果是integerdivision or modulo by zero，只知道是报了这个错，但是却不知道在哪个文件哪个函数哪一行报的错。下面使用tra
2017-10-18 18:39:04
280
转载 Python中os和shutil模块实用方法集锦
# os 模块os.sep 可以取代操作系统特定的路径分隔符。windows下为 '\\'os.name 字符串指示你正在使用的平台。比如对于Windows，它是'nt'，而对于Linux/Unix用户，它是 'posix'os.getcwd() 函数得到当前工作目录，即当前Python脚本工作的目录路径os.getenv() 获取一个环境变量，如果没有返回noneos.p
2017-10-18 11:15:08
111
转载 【Django】如何自定义manage.py命令？ 达到启动后台进程的目的？
标签：代码：#-*- coding:utf-8 -*-"""The handle active user mail send"""from django.core.management.base import BaseCommand, CommandErrorfrom django.db import models#from placeholders import
2017-10-17 20:43:56
1154
转载 django manage.py扩展自定义命令
# django manage.py扩展自定义命令环境： mac django1.10.3在实际的项目开发过程中，我们可能要执行某脚本初始化数据库，可能要启动多个服务，比如启动celery，redis等。要是直接执行python mange.py celery/redis那该多方便啊！，能把这些命令整合到django框架的manage.py中吗？示例-初始化
2017-10-17 20:27:03
339
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人