- 博客(36)
- 收藏
- 关注
RSS订阅转载 numpy.bincount正确理解
今天看了个方法，numpy.bincount首先官网文档：numpy.bincountnumpy.bincount(x,weights=None,minlength=0)Count number of occurrences of each value in array of non-negative ints.The number of bins (of siz...
2019-05-07 11:51:00
340
转载 python调用scala或java包
项目中用到python操作hdfs的问题，一般都是使用python的hdfs包，然而这个包初始化起来太麻烦，需要:from pyspark impport SparkConf, SparkContextfrom hdfs import *client = Client("http://127.0.0.1:50070") 可以看到python需要指定master的...
2019-01-24 11:40:00
293
转载 Windows配置本地Hadoop运行环境
很多人喜欢用Windows本地开发Hadoop程序，这里是一个在Windows下配置Hadoop的教程。首先去官网下载hadoop，这里需要下载一个工具winutils，这个工具是编译hadoop用的，下载完之后解压hadoop文件，然后把winutils.exe放到hadoop文件的bin目录下面然后在hadoop/etc/hadoop下修改以下文件：core-sit...
2018-07-14 23:34:00
154
转载 Spark性能调优-高级篇
前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问...
2018-07-05 14:51:00
96
转载 Spark性能调优-基础篇
前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现...
2018-07-05 12:16:00
94
转载 python编码问题
在 Python 里，有三大类 string 类型，unicode（text string），str（byte string，二进制数据），basestring，是前两者的父类。其实，在语言设计领域，一串字节（sequences of bytes）是否应该当做字符串（string）一直是存在争议的。我们熟知的 Java 和 C# 投了反对票，而 Python 则站在了支持者的阵营...
2018-05-08 15:44:00
75
转载 Spark Yarn-cluster与Yarn-client
总览二者在Spark中，有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-Cluster适用于生产环境，而Yarn-Clientr更适用于交互，调试模式，以下是它们的区别Spark插拨式资源管理Spark支持Yarn,Mesos,Standalone三种集群部署模式，它们的共同点：Master服务(Yarn ResourceM...
2018-05-08 11:43:00
69
转载 百度和谷歌的逆地址解析及GPS、谷歌地图和百度地图坐标之间的转换（python版）...
PostGis用函数转换之后的4326坐标为GPS坐标，这个坐标不能直接在谷歌maps的API上面直接使用需要经过上面的转换，因为谷歌地图的国内参考坐标系为GCJ-02，而一般GPS为WGS84的坐标系。而且同一坐标百度和谷歌API逆向地址解析之后的结果不一致，这个需要后续验证：谷歌：https://maps.googleapis.com/maps/api/geocode/...
2018-03-20 10:38:00
462
转载 HIVE和HADOOP的一些东西
今天刚上班就要更新一个hive表（新年好呀我想说...），由于建立的外表直接替换hdfs文件就行了，但是替换完发现少了二行数据，原来之前做了关联，这就要用到hive的insert了！先来说一下hive的外部表：1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而管理表则不一样；2、在删除管理表的时候，Hive将会把属于表...
2018-02-22 18:05:00
87
转载 PostGis常用函数中文介绍
记录常用PostGis常用函数：1.OGC标准函数管理函数：添加几何字段 AddGeometryColumn(, , , , , )删除几何字段 DropGeometryColumn(, , )检查数据库几何字段并在geometry_columns中归档 Probe_Geometry_Columns()给几何对象设置空间参考（在通过一个范围做空间查询时常用） ST_Set...
2017-12-11 18:15:00
102
转载 SparkHiveContext和直接Spark读取hdfs上文件然后再分析效果区别
最近用spark在集群上验证一个算法的问题，数据量大概是一天P级的，使用hiveContext查询之后再调用算法进行读取效果很慢，大概需要二十多个小时，一个查询将近半个小时，代码大概如下： try: sql = """ select ltescrsrq, mr_ltencrsrq1, mr_ltencrsr...
2017-11-03 12:11:00
114
转载 记录解决python在spark运行加载第三方库的问题
一般写python的我们经常会import一些常用的库，然后有时集群环境上的python没有这些库，怎么办呢？通过一段时间的摸索发现有二种方式可以解决这个问题：第一种方法：下载对应python的pypi里面库的文件，注意这个要求是wheel后缀或者是zip的，然后上传到python的py文件对应的目录下面：可以看到解压后的文件是上面形式的，在这个文件目录下面imp...
2017-10-17 18:11:00
258
转载 centos6.8安装cdh5.10.0（离线版）
Centos6.8安装CDH5相关包的下载地址：Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/CDH安装包地址：http://archive.cloudera.com/cdh5/parcels/latest/操作系统为centos6.8：下载文件为以下：CDH-5.10.0-1.cdh5.10.0....
2017-06-22 22:51:00
145
转载 导数、梯度和极值
这三个概念有区别又有联系，首先先上定义。导数（Derivative）是微积分学中重要的基础概念。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。导数的一般定义如下：可见在处的导数是趋向于零时候上式的极限。极限（Limit）它描述函数值在接近某一给定的自变量时的特征，定义如下：对于任意的，必存在一个，使得...
2017-03-13 16:01:00
383
转载 Windows下安装TensorFlow
最近学习TensorFlow，当然前提是装好框架，网上教程很多都是虚拟搭建或者是conda，从我的经验来讲，Windows目前只支持Python3.5版本安装，Python官网上有说明：本人由于常用的是Python27所以就修改了一下：下载anaconda2并安装到D:\anaconda下载anaconda3：注意版本，集成的必须是Python3.5的，最新的为P...
2017-03-02 10:14:00
67
转载 Oracle10G无图形安装及升级
Oracle10.2.0.1静默安装及升级到10.2.0.4下载及解压好database和Disk1环境配置：su - oraclevim ~/.bash_profile保存。vim /database/response/enterprise.rsp修改文件中的ORACLE_HOME和ORACLE_HOME_NAME两个参数为实际参数ORACLE_HO...
2016-10-28 15:07:00
99
转载 nginx配合zabbix编译安装时web下一步跳转问题
很多时候编译安装的时候把zabbix的php包拷贝到web所在目录之后（本文为nginx所在html目录），网页打开http:/localhost/zabbix却进不去下图：或者是点了下一步没反应，或者到了安装第三步之后下一步又跳回第一步，搞了那么久发现原因如下：php执行用户应该为nginx，不是apache，这点修改php-fpm的时候就已经修改过了，但是有个文件没有修改...
2016-10-17 15:12:00
274
转载 记录centos6.8安装Oracle10.2.0.1过程中的错误解决
[root@hadoop01 database]# ./runInstaller ./runInstaller: /opt/database/install/.oui: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory原因：没有安装ld-linux.so.2[root@hadoop01 database]...
2016-10-17 15:02:00
617
转载 如何让nginx显示文件夹目录
1. 如何让nginx显示文件夹目录vi /etc/nginx/conf.d/default.conf添加如下内容：location / { root /data/www/file //指定实际目录绝对路径； autoindex on; //开...
2016-10-11 11:23:00
283
转载 shell下>和>>的区别
>；如果文件不存在，同上，如果文件存在，先将文件清空，然后将数据填入此文件>>；如果文件不存在，将创建新的文件，并将数据送至此文件；如果文件存在，则将数据添加在文件后面转载于:https://www.cnblogs.com/Kaivenblog/p/5946364.html...
2016-10-10 16:36:00
138
转载 配置sublime text 3 的Python开发环境
为了在sublime实现像Python自带idle一样的F5交互功能：首先安装package control然后install Sublime REPL：然后配置Preference-->Package Settings-->Sublime REPL-->Settings-User{"default_extend_env": {"PATH": "{PATH}...
2016-09-28 17:16:00
86
转载 构建高可用集群Keepalived+Haproxy负载均衡
重点概念vrrp_script中节点权重改变算法vrrp_script 里的script返回值为0时认为检测成功，其它值都会当成检测失败；weight 为正时，脚本检测成功时此weight会加到priority上，检测失败时不加；主失败:主 priority < 从 priority + weight 时会切换。主成功：主 priority + weight > 从 prio...
2016-08-26 11:01:00
89
转载 双主MySQL+keepalived高可用配置
部署双节点双主数据库服务器mysql分别在二台服务器上安装mysql，要求同版本或主服务器比从服务器版本高。主机mysql配置：Vi /etc/my.cnf[mysqld]Log-bin=mysql-binServer-id=1Service mysqld restartMysql –uroot –p从mysql配置：Vi /etc/m...
2016-08-26 09:03:00
49
转载 centos6.8服务器部署svn
1. 安装svnyum list svn*yum install subversion2. 测试svn安装是否成功svnserve –version3. 创建代码仓库mkdir /usr/svn/project1svnadmin create /usr/svn/project14. 拷贝project1中的authz,password两个文件到svn仓库的...
2016-08-12 13:31:00
62
转载 Centos6下rpm安装MySQL5.6
Centos6在rpm安装rpm -ivh http://dev.mysql.com/get/mysql-community-release-el6-5.noarch.rpmyum install mysql-server –y启动service mysqld start初始化mysql_secure_installation Enter curren...
2016-08-12 13:28:00
128
转载 CentOS6.8下部署Zabbix3.0
Centos6.8下部署安装zabbix3.0：环境要求PHP >= 5.4 (CentOS6默认为5.3.3，需要更新)curl >= 7.20 (如需支持SMTP认证，需更新)安装MySQL（已安装的忽略此步骤，最好5.6以上版本）rpm -ivhhttp://dev.mysql.com/get/mysql-community-rel...
2016-08-12 13:22:00
169
转载 python核心编程第六章练习6-15
转换。(a)给出两个可识别格式的日期，比如MM/DD/YY或者DD/MM/YY格式。计算出两个日期之间的天数。(b)给出一个人的生日，计算此人从出生到现在的天数，包括所有的闰月。(c)还是上面的例子，计算出此人下次过生日还有多少天。【答案】(a)代码如下：def date_convert(date_input): month = int(date_input.spl...
2015-07-13 09:35:00
161
转载 python核心编程第六章练习6-14
随机数。设计一个“石头、剪子、布”游戏，有时又叫“Rochambeau”，你小时候可能玩过，下面是规则。你和你的对手，在同一时间做出特定的手势，必须是下面一种：石头、剪子、布。胜利者从下面的规则产生，这个规则本身是个悖论。(a)布包石头。(b)石头砸剪子。(c)剪子剪破布。在你的计算机版本中，用户输入他/她的选项，计算机找一个随机选项，然后由你的程序来决定一个胜利者或者平手。注意，最好的...
2015-07-13 08:54:00
89
转载 python核心编程第六章练习6-13
6-13.字符串.string模块包含三个函数，atoi()，atol()和atof()，他们分别负责把字符串转换成整型、长整型和浮点型数字。从Python 1.5起，Python的内建函数int()、long()、float()也可以做同样的事了，本文来，complex()函数可以把字符串转换成复数（然而1.5之前，这些转换函数只能工作于数字之上）自博客园。string模块中并没有实现...
2015-07-10 16:27:00
89
转载 python核心编程第六章练习6-12
6-12.字符串。（a）创建一个名字为findchr()的函数，函数声明如下。def findchr(string, char)findchr()要在字符串string中查找字符char，找到就返回该值得索引，否则返回-1。不能用string.*find()或者string.*index()函数和方法。（b）创建另一个叫rfindchr()的函数，查找字符char最后一次出现的位置。它跟...
2015-07-10 16:19:00
87
转载 [转]我为什么要学习python
我为什么要学习python引言：学习python近两年，谈谈我对于python的一点小理解，也从一些方面谈谈自己微薄的想法，也就是我为什么学习python这里我不讨论python的一些有用的库或者框架，只从语言本身，最小支持的情况下谈论这门语言本身。语言的发展都是越来越接近Lisp，这也是这门语言伟大的原因。下面我罗列一下我学习python的原因：一.多...
2015-07-10 16:00:00
61
转载 python核心编程第六章练习6-11
6-11.转换。（a）创建一个从整型到IP地址的转换，如下格式：www.xxx.yyy.zzz。（b）更新你的程序，使之可以逆转换。【答案】（a）代码如下：Input_number = abs(int(raw_input('Please input a number: ')))x3 = x2 = x1 = x0 = 0x3 = Input_number / (256 **...
2015-07-10 15:43:00
211
转载 python核心编程第六章练习6-10
6-10.字符串。写一个函数，返回一个跟输入字符串相似的字符串，要求字符串的大小写反转，比如，输入“Mr.Ed”，应该返回“mR.eD”作为输出。【答案】代码如下：#!/usr/bin/env pythonfrom lib2to3.fixer_util import String#string lower into upper,upper into lowerin...
2015-07-10 15:30:00
94
转载 python核心编程第六章练习6-9
6-9.转换。为练习5-13写一个姊妹函数，接受分钟数，返回小时数和分钟数。总时间不变，并且要求小时尽可能大。【答案】代码如下：#!/usr/bin/env python# translate minutes into xxHxxM.minutes = int(raw_input('Please input minutes number: '))h = int(m...
2015-07-10 15:14:00
136
转载 python核心编程第六章练习6-8
6-8.列表。给出一个整型值，返回代表该值得英文，比如输入89会返回“eight-nine”。附加题：能够返回符合英文语法规律的新式，比如输入89会返回“eighty-nine”。本练习中的值假定在0~1000。【答案】代码如下：number = int(raw_input('Please input a number between 1 to 1000: ... '))...
2015-07-10 14:44:00
602
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人