- 博客(6)
- 收藏
- 关注
原创 Redis 性能问题分析:
在一些网络服务的系统中,Redis 的性能,可能是比 MySQL 等硬盘数据库的性能更重要的课题。比如微博,把热点微博、最新的用户关系都存储在 Redis 中,大量的查询击中 Redis,而不走 MySQL。那么,针对 Redis 服务,我们能做哪些性能优化呢?或者说,应该避免哪些性能浪费呢?Redis 性能的基本面在讨论优化之前,我们需要知道,Redis 服务本身就有一些特性,比如单线程运行。除非修改 Redis 的源代码,不然这些特性,就是我们思考性能优化的基本面。那么,有哪些 Re
2021-11-07 14:48:34
596
原创 Kafka3.0版本来了,我们应该注意到什么:
Apache Kafka 是一个分布式开源流平台,被广泛应用于各大互联网公司。Kafka 设计之初被用于消息队列,自 2011 年由 LinkedIn 开源以来,Kafka 迅速从消息队列演变为成熟的事件流处理平台。Kafka 具有四个核心 API,借助这些 API,Kafka 可以用于以下两大类应用: 建立实时流数据管道,可靠地进行数据传输,在系统或应用程序之间获取数据。 构建实时流媒体应用程序,以改变系统或应用程序之间的数据或对数据流做出反应。 近日,Apache .
2021-10-31 15:24:58
775
原创 Python高级实例引入:
为了 方便 爬取更多我们想爬取的网页,我们引入了一个python框架——Scrapy。1.我们先来安装它——在终端python解释器安装路径下,输入指令:pip install scrapy当安装成功后,我们来使用它,继续在本环境下,我们创建scrapy项目,输入指令:scrapy startproject 项目名称;2. 执行完命令后,我们打开pycharm后,会看到如下的新建项目简单认识后,我们继续来认识scrapy框架操作原理:这些都是隐式操作,对我们正常操...
2021-10-08 15:07:55
121
原创 Python入门之最简单的实例:
首先我们初步使用python,在python环境准备好之后:我们打开pycharm,然后写下如下代码:上图代码如下:import urllib.request# 下载网页# url_page = 'http://www.baidu.com'# url代表的是下载的路径 filename文件的名字# 在python中 可以变量的名字 也可以直接写值# urllib.request.urlretrieve(url_page,'baidu.html')# 下载图片# url.
2021-10-08 11:17:41
201
原创 Python安装及配置及使用(2021实测最新版):
打开Python官网,如上图,然后点击download,下载自己需要的系统的版本Python;如点击windows后,出现下图:然后点击类似如图英文格式可下载使用:然后等待下载,然后傻瓜式安装,由于不是旧版,所以不用配置环境变量了;然后在桌面上,按下control+r,输入cmd;在出现的窗口下,输入python;如果出现版本号,即是成功;然后我们下载Python的开发工具:PyCharm 是由 JetBrains 打造的一款 Python IDE,支持 macOS、 W...
2021-09-18 17:38:27
5104
原创 Hadoop2.x与3.x的区别:
通用性)1.精简Hadoop内核,包括剔除过期的API和实现,将默认组件实现替换成最高效的实现(比如将FileOutputCommitter缺省实现换为v2版本,废除hftp转由webhdfs替代,移除Hadoop子实现序列化库org.apache.hadoop.Records。2.Classpath isolation:以防止不同版本jar包冲突,比如google Guava在混合使用Hadoop、HBase和Spark时,很容易产生冲突。3.Shell脚本重构: Hadoop 3.0对Had
2021-09-18 17:01:12
1812
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人