大数据架构及其平台
文章平均质量分 50
马行处
改变思维方式,从产品,项目本身开始
展开
-
pandas处理数据多方式(2)
删除某列指定值所在的行 count 为列名,【1】代表数值e_s = e_s[~e_s['count'].isin([1])]原创 2021-04-09 13:37:54 · 143 阅读 · 0 评论 -
Python Pandas 做数据分析之玩转 Excel 报表分析
各位朋友大家好,非常荣幸和大家聊一聊用 Python Pandas 处理 Excel 数据的话题。因为工作中一直在用 Pandas,所以积累了一些小技巧,在此借 GitChat 平台和大家分享一下心得。在开始之前我推荐大家下载使用 Anaconda,里面包含了 Spyder 和 Jupyter Notebook 等集成工具。到百度搜索一下就可以找到官方下载链接,下载个人版就可以(本文使用的 P...转载 2019-08-16 15:53:02 · 11518 阅读 · 3 评论 -
技术成长四个阶段需要的架构知识
3年前的博文,依旧那么好今天的下午茶活动,与很多技术圈的老朋友详谈甚欢,听到了几位老朋友的分享颇为受益,我也给小伙伴分享我的一点心得。技术成长需要什么架构知识?初入工程师这行时我有一个梦想,希望具备强大技术架构能力,让服务于亿级用户的产品稳定运行于其上,今天我看到身边很多架构师都走到这一步。但对于当年刚入行的我来讲,要达到这一点还只是个梦想,因为那时我并不知道应该怎样构建这样...转载 2019-04-02 17:32:50 · 1562 阅读 · 0 评论 -
hadoop java.lang.IllegalArgumentException: Does not contain a valid host:port 9000
大概率:主机的hostname不合法,修改为不包含着‘.’ '/' '_'等非法字符。原创 2019-03-26 14:42:54 · 1064 阅读 · 0 评论 -
查看linux 端口号和万能结束端口方式
root 4620 4515 0 16:02 pts/2 00:00:00 grep uwsgi[root@slave03 python_test]# lsof -i 第一种方式COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMErpcbind 1844 rpc 6u IPv4 ...原创 2018-05-14 16:11:57 · 1215 阅读 · 0 评论 -
ngnix linux 安装
Nginx 之一:编译安装nginx 1.8.1 及配置一:基介绍 官网地址www.nginx.org,nginx是由1994年毕业于俄罗斯国立莫斯科鲍曼科技大学的同学为俄罗斯rambler.ru公司开发的,开发工作最早从2002年开始,第一次公开发布时间是2004年10月4日,版本号是0.1.0 Nginx是单进程单线程模型,即启动的工作进程只有一个进程响应客户端请求,不像apac...原创 2018-11-16 11:16:46 · 185 阅读 · 0 评论 -
浅谈spark性能调优
浅谈Spark应用程序的性能调优2016-01-19 10:51by 副主编mengyidan1988评论(2)有5574人浏览Sparkcassandra声明:ITeye资讯文章的版权属于ITeye网站所有,严禁任何网站转载本文,否则必将追究法律责任!Spark是基于内存的分布式计算引擎,以处理的高效和稳定著称。然而在实际的应用开发过程中,开发者还是会遇到种种问题,其...转载 2018-11-16 11:18:12 · 374 阅读 · 0 评论 -
hdfs高可用 从hdfs 下载到本地文件目录
从hdfs下载文件或文件夹到本地目录当集群是高可用时,配置hdfs访问地址:当集群是ha高可用时,namenode为多节点,当namenode为standby时是不能被访问hdfs的,需要灵活的指定namenode,不能使用普通的hdfs地址,高可用需要用nameservice去访问,每个hadoop的hdfs集群的配置是不一样的,因为nameservice的配置不同,需要把集群的hdfs-...原创 2018-11-16 11:18:50 · 8324 阅读 · 0 评论 -
高可用
原文地址:http://blog.csdn.net/uq_jin/article/details/51487439如果你还没有虚拟机,请参考:http://blog.csdn.net/uq_jin/article/details/51355124如果你还没有试过单机模式,请参考:http://blog.csdn.net/uq_jin/article/details/51451995如果...转载 2018-11-16 11:20:44 · 527 阅读 · 0 评论 -
Linux下文件的权限chmod
Linux下文件的权限类型一般包括读,写,执行。对应字母为 r、w、x。在文件的权限中有三种用户 u, g, o;分别表示 user(当前用户),group(用户组),other(其他用户)数字权限。 首先,我们规定 数字 4 、2 和 1表示读、写、执行权限(具体原因可见下节权限详解内容),即r=4w=2x=1 权限组合用八进制数字表示,如: rwx = 4 +...原创 2019-03-18 10:52:33 · 513 阅读 · 0 评论 -
RPM包管理及RPM命令详解
Linux软件包分类Linux系统下的软件包分为源码包和二进制包两种类型。源码包:源码包里面包含了软件的源代码,在使用源码包进行软件安装的时候,计算机需要先经过编译,将源代码编译为计算机能够识别的机器语言,然后才能进行安装。 二进制包:二进制包其实就是将源代码经过编译之后生成的机器语言包,例如:rethat系列的二进制包是RPM包,debian系列的二进制包是DEB包。源码包和二进制包的...转载 2019-03-18 14:54:52 · 456 阅读 · 0 评论 -
阿里、百度、京东等一线互联网架构师都在用的技术体系
可以说,Java是现阶段中国互联网公司中,覆盖度最广的研发语言,掌握了Java技术体系,不管在成熟的大公司,快速发展的公司,还是创业阶段的公司,都能有立足之地。有不少朋友问,除了掌握Java语法,还要系统学习哪些Java相关的技术,今天分享一个,互联网Java技术学习路线图。一:常见模式与工具学习Java技术体系,设计模式,流行的框架与组件是必不可少的:常见的设计模式,编码必备 ...转载 2019-03-18 17:36:56 · 337 阅读 · 0 评论 -
spark算子的类型
spark 分为三种算子第一种为key-value型的transform类型的算子为lazy型 ,只有出发action时才能提交job第二种为value型的transform类型的算子为lazy型。。。第三种为action的算子...原创 2017-07-28 08:28:10 · 904 阅读 · 0 评论