qq_29369205的博客

原创 Hadoop

Hadoop 的MapReduce分布式计算框架计算思想：靠近数据源计算设计思路：分而治之Hadoop的yarn服务资源管理服务提供计算资源(cpu，内存)只负责资源提供,不参与计算过程resourcemanager 负责管理nodemanager 负责协调整个集群服务的资源分配 所有资源请求都需要交给resourcemanager。 单点故障 resourcemanager不参与具体的计算过程，也不参与计算过程中的资源管理nodemanager...

原创 2021-10-24

我在贩卖日落，你像神明一样慷慨的将光洒向我，从此人间被点亮。

原创 关系型数据库和非关系型数据库举例

关系型数据库:MySQL，Oracle，SQL Server非关系型数据库:HBASE

原创 安卓老版本游戏/七八年前安卓游戏通过安卓虚拟机实现兼容

魔能:方碑之巫三剑之舞水果忍者极品飞车17系统不兼容不能玩怎么办?安卓11的手机下载一个VMOS专业破解版下载一个安卓5.1的系统,打开谷歌框架,就能玩了,亲测.

原创 Zookeeper和Hadoop开启命令

zkServer.sh startzkCli.sh–server Fnode1 zk启动后,jps会多一个进程,QuorumPeerMain连接端口：node1:9870 HDFS NameNodenode1:8088 yarn资源管理服务 ResourceManagernode1:19888 看jobhistory历史信息查看lsof -i:端口 查看端口号对应的程序是否启用启动jobHistoryServer服务进程 mapred --daemon st...

原创 在sklearn中实现KNN算法

from sklearn.neighbors import KNeighborsClassifier# 创建knn算法的分类器实例# n_neighbors=6,指定选取邻居的个数knn_classifier = KNeighborsClassifier(n_neighbors=6)# 拟合训练数据knn_classifier.fit(X_train,y_train)# 将样本维度变为二维,X_train,y_train为二维数组x1 = x.reshape(1, -1)x1# ar

原创 透视表概述

透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表，也体会到它的强大功能，而在pandas中它被称作pivot_table。数据透视表（Pivot Table）是一种交互式的表，可以进行某些计算，如求和与计数等。所进行的计算与数据，和数据透视表中的排列有关。 之所以称为数据透视表，是因为可以动态地改变它们的版面布置，以便按照不同方式分析数据，也可以重新安排行号、列标和页字段。每一次改变版面布置时，数据透视表会立即按照新的布置重新计算数据。另外，如果原始数据

原创 互联网常用名词解释

闭环比如说用户在网上团购了优惠券，用户拿着优惠券去商家那就可以享受团购优惠。这就形成了闭环，用户从平台得到优惠，商家从平台得到顾客，平台从商家和用户的交易中得到收入。鲁棒性鲁棒是Robust的音译，也就是健壮和强壮的意思。它也是在异常和危险情况下系统生存的能力。比如说，计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下，能否不死机、不崩溃，就是该软件的鲁棒性。阈值阈值又叫临界值，是指一个效应能够产生的最低值或最高值。痛点痛点是指尚未被满足的、而又被广泛渴望的需求。比如说上班

原创 mysql窗口函数

#窗口函数是在where之后执行的select id,item,price,price*100/sum(price) over() from purchase where department_id=2;#窗口函数执行完才执行desc降序 asc升序(默认)SELECT id, name, COUNT(id) OVER() FROM department ORDER BY id desc;...

原创 浏览器访问web服务器的通信过程

原创 并发与并行的区别

并发:在一段时间内交替去执行任务。例如:对于单核cpu处理多任务,操作系统轮流让各个软件交替执行，假如:软件1执行0.01秒，切换到软件2，软件2执行0.01秒，再切换到软件3，执行0.01秒……这样反复执行下去。表面上看，每个软件都是交替执行的，但是，由于CPU的执行速度实在是太快了，我们感觉就像这些软件都在同时执行一样，这里需要注意单核cpu是并发的执行多任务的。并行:对于多核cpu处理多任务，操作系统会给cpu的每个内核安排一个执行的软件，多个内核是真正的一起执行软件。这里需要注意

原创 pycharm快捷键

1、编辑（Editing）Ctrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档F1 外部文档Shift + F1 外部文档，进入web文档主页Ctrl + Shift + Z --> Redo 重做Ctrl + 鼠标 简介/进入代码定义Ctrl + F1 显示错误描述或警告信息

原创 for和推导式的转化

原创 自用linux总结