GYY22897
码龄11年
求更新 关注
提问 私信
  • 博客:72,150
    72,150
    总访问量
  • 暂无
    原创
  • 3
    粉丝
  • 0
    关注
加入CSDN时间: 2014-05-05
查看详细资料
个人成就
  • 获得7次点赞
  • 内容获得0次评论
  • 获得54次收藏
  • 博客总排名1,266,946名
创作历程
  • 66篇
    2019年
  • 168篇
    2018年

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 0

TA参与的活动 0

创作活动更多

王者杯·14天创作挑战营·第2期

这是一个以写作博客为目的的创作活动,旨在鼓励码龄大于4年的博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。 注: 1、参赛者可以进入活动群进行交流、分享创作心得,互相鼓励与支持(开卷),答疑及活动群请见https://bbs.csdn.net/topics/619735097 2、文章质量分查询:https://www.csdn.net/qc 我们诚挚邀请你们参加为期14天的创作挑战赛!

62人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

scala编程(其四)集合(list set),lazy变量

集合:是一种框架 提供了一些数据结构来收集指定的类型数据! 1,提供了一些高阶操作 如map filter reduce 2,有着可变与不可变的集合类型层次体系,可以方便的在不可变类型(稳定性)与可变类型(必要时)之间进行转换列表的说明: 1,List是一种不可变的单链表 2,list可以创建任何一个集合 包括 元组与mappackage da...
转载
发布博客 2019.03.03 ·
236 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

scala 编程(其三) 映射与元组

关于映射的说明: 1,数组,集合,元组,映射等默认都是不可变的 ,需要引入可变的包! 2,map 采用的是类继承的方式来进行实现可变与不可变的 3,map 是一个不可变的键值库,键和值都可以类型参数化package day01object Test5 { def main(args: Array[String]): Unit = { //sca...
转载
发布博客 2019.03.03 ·
132 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

scala 编程介绍(其一)

scala 语言: 1.框架的用户是应用开发程序员,API是否优雅直接影响用户体验。scala 是对 java 的封装,代码可读性与书写较好 2,Scala语言表达能力强,一行代码抵得上Java多行,开发速度快;Scala是静态编译的(比动态快),先编译成 class 文件 3,能融合到Hadoop生态圈常用类型: Scala和Java一样,有7种数值类型Byte...
转载
发布博客 2019.02.28 ·
478 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

scala 编程函数,方法与数组(其二)

scala 函数与方法! 1,在实际中,方法存在于对象中,用来处理对象的数据。 2,scala 之中的所有的算术运算实际上是专门的方法,只是绑定到类型之中。 2+3 实际上是调用了值为2的一个Int 的加法方法,并提供参数3,返回值为5object Hello{ def main(args: Array[String]): Unit = { moth(8, 4...
转载
发布博客 2019.03.02 ·
230 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

HDFS 以及常用shell 操作

HDFS 体系架构 1,HDFS 是一个主/从(Master/Slave)体系架构,由于分布式存储的性质,集群拥有两类节点 NameNode 和 DataNode。两者是通过rpc通信的 2,NameNode(名字节点):系统中通常只有一个,中心服务器的角色,管理存储和检索多个 DataNode 的实际数据所需的所有元数据。 3,DataNode(数据节点):系统中通常...
转载
发布博客 2019.02.20 ·
202 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

spark 三种提交模式( on yarn 与 standalone 介绍,配置,模式)

spark on yarn 说明:(spark 使用 yarn 调度资源) Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度.YARN 分层结构的本质是 ResourceManager。这个实体控制整个集群并管...
转载
发布博客 2019.02.25 ·
261 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

linux 磁盘与挂载

分区分为主分区与扩展分区(D F盘)linux 分区: 1,mbr 分区 1),最多支持四个分区 2),系统只能安装主分区(windows c盘) 3),扩展分区要占用一个主分区 4),MBR 最大支持2TB,但是具有良好的兼容性、 2,gtb 分区 1),支持无限多个分区 2),最大支持18...
转载
发布博客 2019.02.19 ·
138 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

hadoop 安装步骤

1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名  hostnamectl set-hostname server11.2修改IP  修改配置文件方式(修改的是网卡信息 ip a 查看网卡),第一次启动时没有ip的,需要将 网卡配置之中 ONBOOT=yes, 然后重启网络vim /etc/sysconfig/network...
转载
发布博客 2019.02.16 ·
133 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

虚拟化技术以及 docker

容器虚拟化技术: 1,容器级别的虚拟化技术, 对进程的隔离 2,实现方式, namespaces + Control groups(资源分配) + chroot(允许把当前目录变成根目录一样(被隔离开来的)) 3,容器级别的虚拟化技术比主机虚拟化差的很多 4,容器是内核(linux)技术,容器虚拟化技术原理:docker 介绍: 1,docker 是...
转载
发布博客 2019.01.09 ·
139 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Linux 用户组以及权限

1,新增用户与密码 1),在 etc/passwd 新增用户信息 2),/etc/passwd 里面新增一条密码信息useradd sxupasswd sxu # 用户加密2,关于用户权限 1),准确的说是指的是文件的权限 2),权限的划分(针对于 UID): 1),0代表着root权限 2),1-499 ...
转载
发布博客 2019.02.12 ·
107 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

web 项目之中慢查询定位查询sql语句

web 项目之中慢查询的使用(flask为例): 1,如果只是看msql的慢查询的日志在的项目之中很难定位问题 2,可以借用 SQLALCHEMY_RECORD_QUERIES 与 DATABASE_QUERY_TIMEOUT 将慢查询以及相关的上下文信息记录到日志中 3,代码逻辑: 1),启用查询记录功能 2),app.logger 增加一...
转载
发布博客 2019.01.05 ·
195 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

asyncio 协程库(常见场景!)

python 的协程: 1,Python对协程的支持是通过generator实现的 2,协程是由程序自身控制的程序间的切换asyncio 协程库: 1,通过async关键字定义一个协程(coroutine),协程也是一种对象。协程不能直接运行,需要把协程加入到事件循环(loop) 2,所谓task对象是Future类的子类。保存了协程运行后的状态,用于未来获取...
转载
发布博客 2019.01.06 ·
304 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

mongodb 操作经验总结(其三)

mongodb 操作经验总结: 1,使用优点: 1),不需要像关系型数据库把产品信息打散到不同的表之中,查询还是使用join连接或者拼接成复杂的sql语句,完全可以把产品信息放置在一起 2),实用高效的二进制BSON作为数据存储,更快的遍历速度,比json 提供更多的内置结构 3),内置聚合工具,可以通过 MAPReduce等方式进行复杂的...
转载
发布博客 2019.01.04 ·
250 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python 代码调试常用技术

python 代码调试常用技术 1,命令行调试工具 ipython + ipdb 1),首先安装 ipdbpip install ipdb 2),使用ipbd调试,提供tab补充、语法高亮# 新建文件 te.pyimport ipdbdef fun_pdb(num_list): print('I am in pd...
转载
发布博客 2019.01.05 ·
178 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

主流PRC框架 thrift 基于flask 微服务架构(其三)

基于flask 微服务架构实现方式 1,采用的是二进制的通信格式 2,app.py 注重于视图的逻辑, client.py 注重于请求服务,server.py注重于处理客户端的请求处理 3,在 '.thrift'文件之中: 1),service PasteFileService{} 定义了服务端接口,属性开头定义了返回的类型! ...
转载
发布博客 2019.01.03 ·
532 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

项目服务化架构(其一)

项目服务化架构: 1,服务化指的是项目架构微服务化. 2,服务化的划分规则: 1),根据业务划分,比如豆瓣电影是一个产品线,把豆瓣电影独立成一个服务,被其他的产品线使用.整个豆瓣网站都不会由于一个产品线问题,让整个网站不能使用. 2),根据功能划分,豆瓣的读书,音乐,电影都有长评的功能。把长评功能独立起来,被这些产品线使用,服务化之后,那些需要长评...
转载
发布博客 2018.12.24 ·
290 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大型网站并发处理

大型网站架构经验总结: 1,缓存的使用: 1),本地缓存,热点数据存储到内存之中 2),分布式缓存,建立分布式网络缓存集群,应用程序通过网络来访问缓存数据 3),反向代理,由代理服务器来决定是从后端获取数据,还是把缓存的内容返还给前端 4),CDN(内容发布网络)缓存,由发布商出售缓存服务给需要的网站,不需要自己维护缓存,只需...
转载
发布博客 2019.01.03 ·
115 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python 执行linux 命令得到输出

python 执行linux 命令得到输出1, subprocess.Popen() 用法import subprocesssubprocess.Popen(["ls","-l"]) # 列表第一个参数是指的是命令 其余的指的是命令参数child = subprocess.Popen('ping www.baidu.com',shell=True) # 字符串chi...
转载
发布博客 2018.12.17 ·
342 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

主流PRC框架 thrift(其二)

Apache Thrift 是主流的PRC框架之一 1,最初是由 facebook 实现的一种支持多种编程语言的,高效的远程服务器框架 2,它采用中间语言(IDL,接口描述语言),定义PRC接口和数据类型,通过编译器生成不同的代码(python,java,C++,Ruby)等 3,其传输数据采用的是二进制数据.相对于XML与JSON体积更小,相对于高并发更加具优势一,安...
转载
发布博客 2018.12.24 ·
310 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

集群管理系统slurm

集群管理系统slurm: 1,平行计算机粘合剂,用于执行并行作业 2,它使得并行计算就像pc一样简单实用 3,通常用来管理并行程序之间的通信slurm设计框架: 1,为集群提供简单的资源管理 2,通过插件完成功能强大的祖业调度器 3,由c语言编写,对管理员友好常用的操作组件: 资源管理器:通过使用集群来管理资源 1,节点 1),节点...
转载
发布博客 2018.11.25 ·
786 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏
加载更多