大数据
温暖的阳光️
(知识来源于生活,又为生活所服务)好好学习,每天进步一点点,加油
展开
-
ImportError: cannot import name DispatcherMiddleware错误处理方法
Werkzeug 是一个Web框架的底层模块,pyspider启动运行时会调用这个模块启动pyspider时候报错报错ImportError: cannot import name DispatcherMiddleware原因是:werkzeug版本过高导致的解决方法:卸载werkzeug,重新安装低版本的werkzeug#卸载python -m pip uninstall werkzeug#安装指定版本python -m pip install werkzeug==0.16.0原创 2021-04-06 16:34:05 · 705 阅读 · 0 评论 -
横向扩展与纵向扩展区别详解
你有一台API服务器,每天几百万次请求,吃不消了。现在要提升性能:1横向扩展:多增加几台API服务器,一起服务。纵向扩展:把API服务器换成性能更好的机器。横向扩展 也叫 水平扩展,用更多的节点支撑更大量的请求。 如成千上万的蚂蚁完成一项搬运工作纵向扩展 又叫 垂直扩展,扩展一个点的能力支撑更大的请求。如利用1个人的能力,如蜘蛛侠逼停火车2纵向扩展:在数量不变的前提下提高单硬件的性能横向扩展:通过增加数量来提高集群的性能在硬件的性能比较低的时候,纵向比横向更便宜2T<2* 1T在硬原创 2021-03-03 20:41:55 · 7720 阅读 · 6 评论 -
Hadoop的伪分布式安装详细步骤
安装JDK关闭防火墙service iptables stopchkconfig iptables off关闭云主机的开机初始化service cloud-init stopchkconfig cloud-init offservice cloud-init-local stopchkconfig cloud-init-local off修改主机名vim /etc/sysconfig/network修改HOSTNAME的值,例如将HOSTNAME修改为hadoop01改完之后,保存.原创 2021-02-25 18:08:33 · 821 阅读 · 0 评论 -
CAP理论详解
CAPConsistency:一致性。访问集群的任意一个节点,都能获取到集群中的最新数据Avaibility:可用性。在一段时间内,服务器只要对外提供服务,那么访问任意一个节点都能够在合理时间内获取到正确结果Partition Tolerance:分区容忍/容错性。当一台或者多台服务器产生网络故障的时候,不影响其他分区(服务)的运行经过严格的数学证明,CAP三大理论无法同时成立,所以称之为CAP三角理论在分布式系统中,首先考虑满足P - 集群越庞大,故障率越高 - 因此,分布式系统是CP或者AP原创 2021-02-22 22:20:28 · 714 阅读 · 8 评论 -
分布式和微服务的区别
1.分布式微服务和分布式的区别1.将一个大的系统划分为多个业务模块,业务模块分别部署到不同的机器上,各个业务模块之间通过接口进行数据交互。区别分布式的方式是根据不同机器不同业务。2.分布式是否属于微服务?答案是肯定的。微服务的意思也就是将模块拆分成一个独立的服务单元通过接口来实现数据的交互。3.微服务架构微服务的设计是为了不因为某个模块的升级和BUG影响现有的系统业务。微服务与分布式的细微差别是,微服务的应用不一定是分散在多个服务器上,他也可以是同一个服务器。微服务和分布式的区别分布式和微原创 2021-02-05 19:58:22 · 222 阅读 · 1 评论 -
服务器承载的线程数量计算分析的全过程详解
服务器在同一时间内,能够并行承载多少个线程?线程在执行的时候需要占用服务器的哪些资源 - CPU、内存一台服务器能够承载的线程数量由CPU还是由内存决定?线程在CPU上是并行处理还是串行处理?—串行 - 线程在CPU上是轮询处理的 - CPU的处理速度决定了线程的执行速度,但是CPU的处理速度不能决定线程的数量线程产生和执行都需要占用内存。n个线程可以在CPU上来轮询处理,但是n个线程是否可以轮询占用内存?—不能。线程即使处于阻塞状态,也是占用内存的,只是不占用CPU而已一台服务器同一时间内原创 2021-02-05 19:55:19 · 2258 阅读 · 0 评论
分享