- 博客(36)
- 收藏
- 关注
转载 numpy.bincount正确理解
今天看了个方法,numpy.bincount首先官网文档:numpy.bincountnumpy.bincount(x,weights=None,minlength=0)Count number of occurrences of each value in array of non-negative ints.The number of bins (of siz...
2019-05-07 11:51:00
340
转载 python调用scala或java包
项目中用到python操作hdfs的问题,一般都是使用python的hdfs包,然而这个包初始化起来太麻烦,需要:from pyspark impport SparkConf, SparkContextfrom hdfs import *client = Client("http://127.0.0.1:50070") 可以看到python需要指定master的...
2019-01-24 11:40:00
293
转载 Windows配置本地Hadoop运行环境
很多人喜欢用Windows本地开发Hadoop程序,这里是一个在Windows下配置Hadoop的教程。首先去官网下载hadoop,这里需要下载一个工具winutils,这个工具是编译hadoop用的,下载完之后解压hadoop文件,然后把winutils.exe放到hadoop文件的bin目录下面然后在hadoop/etc/hadoop下修改以下文件:core-sit...
2018-07-14 23:34:00
154
转载 Spark性能调优-高级篇
前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问...
2018-07-05 14:51:00
96
转载 Spark性能调优-基础篇
前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。然而,通过Spark开发出高性能的大数据计算作业,并不是那么简单的。如果没有对Spark作业进行合理的调优,Spark作业的执行速度可能会很慢,这样就完全体现...
2018-07-05 12:16:00
94
转载 python编码问题
在 Python 里,有三大类 string 类型,unicode(text string),str(byte string,二进制数据),basestring,是前两者的父类。其实,在语言设计领域,一串字节(sequences of bytes)是否应该当做字符串(string)一直是存在争议的。我们熟知的 Java 和 C# 投了反对票,而 Python 则站在了支持者的阵营...
2018-05-08 15:44:00
75
转载 Spark Yarn-cluster与Yarn-client
总览二者在Spark中,有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上,通常Yarn-Cluster适用于生产环境,而Yarn-Clientr更适用于交互,调试模式,以下是它们的区别Spark插拨式资源管理Spark支持Yarn,Mesos,Standalone三种集群部署模式,它们的共同点:Master服务(Yarn ResourceM...
2018-05-08 11:43:00
69
转载 百度和谷歌的逆地址解析及GPS、谷歌地图和百度地图坐标之间的转换(python版)...
PostGis用函数转换之后的4326坐标为GPS坐标,这个坐标不能直接在谷歌maps的API上面直接使用需要经过上面的转换,因为谷歌地图的国内参考坐标系为GCJ-02,而一般GPS为WGS84的坐标系。而且同一坐标百度和谷歌API逆向地址解析之后的结果不一致,这个需要后续验证:谷歌:https://maps.googleapis.com/maps/api/geocode/...
2018-03-20 10:38:00
462
转载 HIVE和HADOOP的一些东西
今天刚上班就要更新一个hive表(新年好呀我想说...),由于建立的外表直接替换hdfs文件就行了,但是替换完发现少了二行数据,原来之前做了关联,这就要用到hive的insert了!先来说一下hive的外部表:1、在导入数据到外部表,数据并没有移动到自己的数据仓库目录下,也就是说外部表中的数据并不是由它自己来管理的!而管理表则不一样;2、在删除管理表的时候,Hive将会把属于表...
2018-02-22 18:05:00
87
转载 PostGis常用函数中文介绍
记录常用PostGis常用函数:1.OGC标准函数管理函数:添加几何字段 AddGeometryColumn(, , , , , )删除几何字段 DropGeometryColumn(, , )检查数据库几何字段并在geometry_columns中归档 Probe_Geometry_Columns()给几何对象设置空间参考(在通过一个范围做空间查询时常用) ST_Set...
2017-12-11 18:15:00
102
转载 SparkHiveContext和直接Spark读取hdfs上文件然后再分析效果区别
最近用spark在集群上验证一个算法的问题,数据量大概是一天P级的,使用hiveContext查询之后再调用算法进行读取效果很慢,大概需要二十多个小时,一个查询将近半个小时,代码大概如下: try: sql = """ select ltescrsrq, mr_ltencrsrq1, mr_ltencrsr...
2017-11-03 12:11:00
114
转载 记录解决python在spark运行加载第三方库的问题
一般写python的我们经常会import一些常用的库,然后有时集群环境上的python没有这些库,怎么办呢?通过一段时间的摸索发现有二种方式可以解决这个问题:第一种方法:下载对应python的pypi里面库的文件,注意这个要求是wheel后缀或者是zip的,然后上传到python的py文件对应的目录下面:可以看到解压后的文件是上面形式的,在这个文件目录下面imp...
2017-10-17 18:11:00
258
转载 centos6.8安装cdh5.10.0(离线版)
Centos6.8安装CDH5相关包的下载地址:Cloudera Manager地址:http://archive.cloudera.com/cm5/cm/5/CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/latest/操作系统为centos6.8:下载文件为以下:CDH-5.10.0-1.cdh5.10.0....
2017-06-22 22:51:00
145
转载 导数、梯度和极值
这三个概念有区别又有联系,首先先上定义。导数(Derivative)是微积分学中重要的基础概念。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。导数的一般定义如下:可见在处的导数是趋向于零时候上式的极限。极限(Limit)它描述函数值在接近某一给定的自变量时的特征,定义如下:对于任意的,必存在一个,使得...
2017-03-13 16:01:00
383
转载 Windows下安装TensorFlow
最近学习TensorFlow,当然前提是装好框架,网上教程很多都是虚拟搭建或者是conda,从我的经验来讲,Windows目前只支持Python3.5版本安装,Python官网上有说明:本人由于常用的是Python27所以就修改了一下:下载anaconda2并安装到D:\anaconda下载anaconda3:注意版本,集成的必须是Python3.5的,最新的为P...
2017-03-02 10:14:00
67
转载 Oracle10G无图形安装及升级
Oracle10.2.0.1静默安装及升级到10.2.0.4下载及解压好database和Disk1环境配置:su - oraclevim ~/.bash_profile保存。vim /database/response/enterprise.rsp修改文件中的ORACLE_HOME和ORACLE_HOME_NAME两个参数为实际参数ORACLE_HO...
2016-10-28 15:07:00
99
转载 nginx配合zabbix编译安装时web下一步跳转问题
很多时候编译安装的时候把zabbix的php包拷贝到web所在目录之后(本文为nginx所在html目录),网页打开http:/localhost/zabbix却进不去下图:或者是点了下一步没反应,或者到了安装第三步之后下一步又跳回第一步,搞了那么久发现原因如下:php执行用户应该为nginx,不是apache,这点修改php-fpm的时候就已经修改过了,但是有个文件没有修改...
2016-10-17 15:12:00
274
转载 记录centos6.8安装Oracle10.2.0.1过程中的错误解决
[root@hadoop01 database]# ./runInstaller ./runInstaller: /opt/database/install/.oui: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory原因:没有安装ld-linux.so.2[root@hadoop01 database]...
2016-10-17 15:02:00
617
转载 如何让nginx显示文件夹目录
1. 如何让nginx显示文件夹目录vi /etc/nginx/conf.d/default.conf添加如下内容:location / { root /data/www/file //指定实际目录绝对路径; autoindex on; //开...
2016-10-11 11:23:00
283
转载 shell下>和>>的区别
>;如果文件不存在,同上,如果文件存在,先将文件清空,然后将数据填入此文件>>;如果文件不存在,将创建新的文件,并将数据送至此文件;如果文件存在,则将数据添加在文件后面转载于:https://www.cnblogs.com/Kaivenblog/p/5946364.html...
2016-10-10 16:36:00
138
转载 配置sublime text 3 的Python开发环境
为了在sublime实现像Python自带idle一样的F5交互功能:首先安装package control然后install Sublime REPL:然后配置Preference-->Package Settings-->Sublime REPL-->Settings-User{"default_extend_env": {"PATH": "{PATH}...
2016-09-28 17:16:00
86
转载 构建高可用集群Keepalived+Haproxy负载均衡
重点概念vrrp_script中节点权重改变算法vrrp_script 里的script返回值为0时认为检测成功,其它值都会当成检测失败;weight 为正时,脚本检测成功时此weight会加到priority上,检测失败时不加;主失败:主 priority < 从 priority + weight 时会切换。主成功:主 priority + weight > 从 prio...
2016-08-26 11:01:00
89
转载 双主MySQL+keepalived高可用配置
部署双节点双主数据库服务器mysql分别在二台服务器上安装mysql,要求同版本或主服务器比从服务器版本高。主机mysql配置:Vi /etc/my.cnf[mysqld]Log-bin=mysql-binServer-id=1Service mysqld restartMysql –uroot –p从mysql配置:Vi /etc/m...
2016-08-26 09:03:00
49
转载 centos6.8服务器部署svn
1. 安装svnyum list svn*yum install subversion2. 测试svn安装是否成功svnserve –version3. 创建代码仓库mkdir /usr/svn/project1svnadmin create /usr/svn/project14. 拷贝project1中的authz,password两个文件到svn仓库的...
2016-08-12 13:31:00
62
转载 Centos6下rpm安装MySQL5.6
Centos6在rpm安装rpm -ivh http://dev.mysql.com/get/mysql-community-release-el6-5.noarch.rpmyum install mysql-server –y启动service mysqld start初始化mysql_secure_installation Enter curren...
2016-08-12 13:28:00
128
转载 CentOS6.8下部署Zabbix3.0
Centos6.8下部署安装zabbix3.0:环境要求PHP >= 5.4 (CentOS6默认为5.3.3,需要更新)curl >= 7.20 (如需支持SMTP认证,需更新)安装MySQL(已安装的忽略此步骤,最好5.6以上版本)rpm -ivhhttp://dev.mysql.com/get/mysql-community-rel...
2016-08-12 13:22:00
169
转载 python核心编程第六章练习6-15
转换。(a)给出两个可识别格式的日期,比如MM/DD/YY或者DD/MM/YY格式。计算出两个日期之间的天数。(b)给出一个人的生日,计算此人从出生到现在的天数,包括所有的闰月。(c)还是上面的例子,计算出此人下次过生日还有多少天。【答案】(a)代码如下:def date_convert(date_input): month = int(date_input.spl...
2015-07-13 09:35:00
161
转载 python核心编程第六章练习6-14
随机数。设计一个“石头、剪子、布”游戏,有时又叫“Rochambeau”,你小时候可能玩过,下面是规则。你和你的对手,在同一时间做出特定的手势,必须是下面一种:石头、剪子、布。胜利者从下面的规则产生,这个规则本身是个悖论。(a)布包石头。(b)石头砸剪子。(c)剪子剪破布。在你的计算机版本中,用户输入他/她的选项,计算机找一个随机选项,然后由你的程序来决定一个胜利者或者平手。注意,最好的...
2015-07-13 08:54:00
89
转载 python核心编程第六章练习6-13
6-13.字符串.string模块包含三个函数,atoi(),atol()和atof(),他们分别负责把字符串转换成整型、长整型和浮点型数字。从Python 1.5起,Python的内建函数int()、long()、float()也可以做同样的事了,本文来,complex()函数可以把字符串转换成复数(然而1.5之前,这些转换函数只能工作于数字之上)自博客园。string模块中并没有实现...
2015-07-10 16:27:00
89
转载 python核心编程第六章练习6-12
6-12.字符串。(a)创建一个名字为findchr()的函数,函数声明如下。def findchr(string, char)findchr()要在字符串string中查找字符char,找到就返回该值得索引,否则返回-1。不能用string.*find()或者string.*index()函数和方法。(b)创建另一个叫rfindchr()的函数,查找字符char最后一次出现的位置。它跟...
2015-07-10 16:19:00
87
转载 [转]我为什么要学习python
我为什么要学习python引言:学习python近两年,谈谈我对于python的一点小理解,也从一些方面谈谈自己微薄的想法,也就是我为什么学习python这里我不讨论python的一些有用的库或者框架,只从语言本身,最小支持的情况下谈论这门语言本身。语言的发展都是越来越接近Lisp,这也是这门语言伟大的原因。下面我罗列一下我学习python的原因:一.多...
2015-07-10 16:00:00
61
转载 python核心编程第六章练习6-11
6-11.转换。(a)创建一个从整型到IP地址的转换,如下格式:www.xxx.yyy.zzz。(b)更新你的程序,使之可以逆转换。【答案】(a)代码如下:Input_number = abs(int(raw_input('Please input a number: ')))x3 = x2 = x1 = x0 = 0x3 = Input_number / (256 **...
2015-07-10 15:43:00
211
转载 python核心编程第六章练习6-10
6-10.字符串。写一个函数,返回一个跟输入字符串相似的字符串,要求字符串的大小写反转,比如,输入“Mr.Ed”,应该返回“mR.eD”作为输出。【答案】代码如下:#!/usr/bin/env pythonfrom lib2to3.fixer_util import String#string lower into upper,upper into lowerin...
2015-07-10 15:30:00
94
转载 python核心编程第六章练习6-9
6-9.转换。为练习5-13写一个姊妹函数,接受分钟数,返回小时数和分钟数。总时间不变,并且要求小时尽可能大。【答案】代码如下:#!/usr/bin/env python# translate minutes into xxHxxM.minutes = int(raw_input('Please input minutes number: '))h = int(m...
2015-07-10 15:14:00
136
转载 python核心编程第六章练习6-8
6-8.列表。给出一个整型值,返回代表该值得英文,比如输入89会返回“eight-nine”。附加题:能够返回符合英文语法规律的新式,比如输入89会返回“eighty-nine”。本练习中的值假定在0~1000。【答案】代码如下:number = int(raw_input('Please input a number between 1 to 1000: ... '))...
2015-07-10 14:44:00
602
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人