Java、PHP、Python、Erlang、Golang 千万级内存数据插入、查询性能对比

最新推荐文章于 2024-09-19 00:00:00 发布
置顶 最新推荐文章于 2024-09-19 00:00:00 发布
阅读量5.5k 收藏 3
点赞数 1
文章标签： PHP Java Python Erlang Golang
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leinchu/article/details/82707751
版权

测试环境：
centos 6.3 64bit
php 7.2
java 1.86
python 3.4.8
Erlang/OTP 19 [erts-8.1]
golang 1.9.2

至强2.5G 4核 x 2
8 G内存
146g scsi x 2 raid 0+1

测试内容：
2000万数据，每条数据一个int id，一个string name
测试创建2000万数据的时间速度，再在这2000万数据中查询100条左右，计算查询速度。
所有的语言，搜索数据都不写算法、单进程（线程），利用语言数据类型自身的搜索能力，避免因为算法写得好坏而导致的偏差

 

结果：

详细结果：

测试环境：
centos 6.3 64bit
php 7.2
java 1.86
python 3.4.8

至强2.5G 4核 x 2
8 G内存
146g scsi x 2 raid 0+1

测试内容：
2000万数据，每条数据一个int id，一个string name
测试创建2000万数据的时间速度，再在这2000万数据中查询100条左右，计算查询速度。
所有的语言，搜索数据都不写算法，利用语言数据类型自身的搜索能力，避免因为算法写得好坏而导致的偏差
=================================================================================================
php swoole.table，2000万数据的结果
=================================================================================================
[root@lein swoole_test]# php7 swoole_table_test.php 
======================
Create total use 55.112974882126
Real create time 30.919550180435
======================
Real create speed 662364.10 q/s
======================
Real Row count 19250719
======================
======================
116 use 0.000099
Query Speed 1172383.77 q/s
Avg query time use 0.000001 s
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root     30836 98.8 62.9 5447960 5152052 pts/1 S+   09:30   1:00 php7 swoole_table_test.php
root     30838  0.0  0.0 106108  1156 pts/1    S+   09:31   0:00 sh -c ps aux|grep php
root     30840  0.0  0.0 103336   864 pts/1    S+   09:31   0:00 grep php


=================================================================================================
php 原生数组，8G内存不够用，下面是1000万数据的结果
=================================================================================================
[root@lein swoole_test]# php7 php_array_test.php 
======================
Create total use 25.156011104584
Real create time 13.448930025101
======================
Real create speed 761398.86 q/s
======================
Real Row count 9626186
======================
======================
123 use 0.000109
Query Speed 1128882.70 q/s
Avg query time use 0.000001 s

root     30863 96.9 55.7 5089968 4568848 pts/1 S+   09:38   0:25 php7 php_array_test.php
root     30865  2.0  0.0 106108  1156 pts/1    S+   09:39   0:00 sh -c ps aux|grep php
root     30867  0.0  0.0 103336   864 pts/1    S+   09:39   0:00 grep php


=================================================================================================
java hashtable做数据存储，数据用string[]
=================================================================================================
[root@lein swoole_test]# ./java_run.sh java_string_arr_data_test.jar
======================
Create total use 205.590419
Real create time 45.750554
======================
Real create speed 420792.19 q/s
======================
Real Row count 19251476
======================
106 use 0.000149
Query Speed 711409.40 q/s
Avg query time use 0.00000141 s
======================
[lein@lein ~]$ ps aux|grep java|test
root     31326  0.0  0.0 106108  1208 pts/1    S+   10:55   0:00 /bin/sh ./java_run.sh java_string_arr_data_test.jar
root     31327  472 78.2 10972376 6409940 pts/1 Sl+ 10:55  14:47 java -Xms512m -Xmx7012m -XX:PermSize=512m -XX:MaxPermSize=2048m -jar java_string_arr_data_test.jar


=================================================================================================
java hashtable做数据存储，数据用class，结果浮动比较大，测试机并没有什么负载，列三组结果
=================================================================================================
[root@lein swoole_test]# ./java_run.sh java_class_arr_data_test.jar
======================
Create total use 184.592579
Real create time 59.947452
======================
Real create speed 321138.54 q/s
======================
Real Row count 19251437
======================
105 use 0.000166
Query Speed 632530.12 q/s
Avg query time use 0.00000158 s
======================
[lein@lein ~]$ ps aux|grep java|grep test
root     31537  0.0  0.0 106108  1208 pts/1    S+   11:08   0:00 /bin/sh ./java_run.sh java_class_arr_data_test.jar
root     31538  455 71.0 10972372 5815956 pts/1 Sl+ 11:08  13:39 java -Xms512m -Xmx7012m -XX:PermSize=512m -XX:MaxPermSize=2048m -jar java_class_arr_data_test.jar


======================
Create total use 157.527681
Real create time 47.727919
======================
Real create speed 403343.00 q/s
======================
Real Row count 19250722
======================
104 use 0.000153
Query Speed 679738.56 q/s
Avg query time use 0.00000147 s
======================


======================
Create total use 183.524738
Real create time 65.922781
======================
Real create speed 292012.09 q/s
======================
Real Row count 19250249
======================
101 use 0.000149
Query Speed 677852.35 q/s
Avg query time use 0.00000148 s
======================


[lein@lein ~]$ ps aux|grep java|grep test
root     31684  0.0  0.0 106108  1208 pts/1    S+   11:30   0:00 /bin/sh ./java_run.sh java_class_arr_data_test.jar
root     31685  456 70.8 10972372 5800084 pts/1 Sl+ 11:30  14:00 java -Xms512m -Xmx7012m -XX:PermSize=512m -XX:MaxPermSize=2048m -jar java_class_arr_data_test.jar

=================================================================================================
python Dictionary做数据存储，数据用tuple ，
=================================================================================================
[root@lein swoole_test]# python python_dict_turple_test.py
======================
Create total use 687.165280
Real create time 206.128578
======================
Real create speed 99355.461494 q/s
======================
Real Row count 20480000
======================
98 use 0.001468
Query Speed 66757.49 q/s
Avg query time use 0.000015 s
======================

root     32433 99.8 55.2 4678148 4526036 pts/1 S+   13:52  11:27 python python_dict_turple_test.py
root     32470  8.0  0.0 106108  1156 pts/1    S+   14:03   0:00 sh -c ps aux|grep python|grep test

======================
python 500万数据测试
======================
Create total use 169.645076
Real create time 51.137284
======================
Real create speed 97776.017976 q/s
======================
Real Row count 5000000
======================
111 use 0.001677
Query Speed 66189.62 q/s
Avg query time use 0.000015 s
======================

=================================================================================================
erlang erlang是一门反人类的语言，除了变量不可变而外，各种怪异的语法符号，完全是为你难以掌握而设计的。
=================================================================================================

内存占得多的时候7.5G，虚拟内存还占17G，但有时候又会突然下降，一会儿又涨上去了。

[root@lein swoole_test]# ./run_erl.sh 
本次测试的是1024万数据
数据存储进程dict，数据Tuple，因为不知道如何取得进程字典数据量，所以每次增加之前都进行了检查。
运行插入800万条之后，程序“卡住”好几分钟，

======================
Create total use 659.250587
Real create time 25.764429
======================
Real create speed 373587.747666 q/s
======================
Real Row count 9625275
======================
90 use 0.031466 
Query Speed 2860.230090 q/s
Avg query time use 0.000349 s
======================

第二次测试同样是卡住了，我想原因在于查询，因为每次插入都查询是否存在，而查询又特别慢：
为什么查询慢呢，我想是因为erlang所谓变量不变造成的：因为变量不变，但数据要变，所以会大量的申请新空间来存放新的值，这会消耗大量的内存和cpu，
所以erlang用了巨量的虚拟内存，所以查询速度，自然慢了。

======================
Create total use 1973.850796
Real create time 28.166692
======================
Real create speed 341735.834652 q/s
======================
Real Row count 9625568
======================
95 use 1.233148 
Query Speed 77.038604 q/s
Avg query time use 0.012981 s
======================
root     25053 73.9 94.0 17911268 7703228 pts/1 Sl+ 14:54   4:10 /usr/local/lib/erlang/erts-8.1/bin/beam.smp -- -root /usr/local/lib/erlang -progname erl -- -home /root -- -noshell -s erlang_list_dict_test test -s init stop

======================
Erlang&进程字典+map 500万数据测试
======================

======================
Create total use 159.719715
Real create time 15.408685
======================
Real create speed 324492.323647 q/s
======================
Real Row count 5000000
======================
99 use 0.000510 
Query Speed 194117.647059 q/s
Avg query time use 0.000005 s
======================
root     14961 99.3 39.2 6771772 3213308 pts/0 Sl+  17:13   2:39 /usr/local/lib/erlang/erts-8.1/bin/beam.smp -- -root /usr/local/lib/erlang -progname erl -- -home /root -- -noshell -s erlang_list_dict_test test -s init stop

========================================
erlang 存储改为ets，500万数据测试结果。
======================
Create total use 138.476614
Real create time 36.483799
======================
Real create speed 137047.131523 q/s
======================
Real Row count 5000000
======================
99 use 0.000488 
Query Speed 202868.852459 q/s
Avg query time use 0.000005 s
======================


root     16029 99.1 33.0 5783256 2706632 pts/0 Sl+  18:11   2:19 /usr/local/lib/erlang/erts-8.1/bin/beam.smp -- -root /usr/local/lib/erlang -progname erl -- -home /root -- -noshell -s erlang_list_dict_test test -s init stop


======================
Create total use 2070.049225
Real create time 747.731820
======================
Real create speed 13694.749543 q/s
======================
Real Row count 10240000
======================
101 use 0.061205 
Query Speed 1650.191978 q/s
Avg query time use 0.000606 s
======================


root     27899 83.9 94.7 16092260 7762780 pts/1 Sl+ 18:40   5:36 /usr/local/lib/erlang/erts-8.1/bin/beam.smp -- -root /usr/local/lib/erlang -progname erl -- -home /root -- -noshell -s erlang_list_dict_test test -s init stop


root     27899 35.0 92.6 24427200 7586016 pts/1 Sl+ 18:40   6:13 /usr/local/lib/erlang/erts-8.1/bin/beam.smp -- -root /usr/local/lib/erlang -progname erl -- -home /root -- -noshell -s erlang_list_dict_test test -s init stop

==========================================
erlang ets 500万数据结果

root     15044 99.3 33.1 5783512 2712636 pts/0 Sl+  17:21   2:18 /usr/local/lib/erlang/erts-8.1/bin/beam.smp -- -root /usr/local/lib/erlang -progname erl -- -home /root -- -noshell -s erlang_list_dict_test test -s init stop


=================================================================================================
golang map存储所有数据，单条数据是struct,
=================================================================================================
[root@lein swoole_test]# go build golang_data_benchmark.go
[root@lein swoole_test]# ./golang_data_benchmark
cpu只使用50%左右
======================
Create total use 192.196030
Real create time 67.784217
======================
Real create speed 301417.627826 q/s
======================
Real Row count 20431358
======================
95 use 0.000355
Query Speed 267601.665547 q/s
Avg query time use 0.000004 s
======================


root     14226  125 42.0 3729248 3446672 pts/0 Sl+  15:25   4:05 ./golang_data_benchmark


 


 

 

贴2个qq群：31068495（Cocos&Unity&Java&C程序招聘），95303036（PHPer&页游&Mobile&U3D 2D）

测试源码：

https://download.csdn.net/download/leinchu/10667773

Go的直接帖下面了：

package main

import ( 
    "crypto/md5"
    "encoding/hex" 
    "fmt"
	"time"
	"io"
	"crypto/rand"
	"encoding/binary"
	"bytes"
	"runtime"
)

const row_num = 20480000
const max_rd = row_num * 8
type data struct {
    id uint32
	name string
}

func Md5(str string)(string){
	//fmt.Println("Md5 str=", str)
	h := md5.New()
	h.Write([]byte(str))
	return hex.EncodeToString(h.Sum(nil))
}

func BytesToInt(b []byte) uint32 {
	bytesBuffer := bytes.NewBuffer(b)
	var tmp uint32
	binary.Read(bytesBuffer, binary.BigEndian, &tmp)
	return tmp
}

func getRd() uint32 {
	b := make([]byte, 4)

	if _, err := io.ReadFull(rand.Reader, b); err != nil {
		return 0
	}
	return BytesToInt(b) //+uint32(mrand.Int31n(max_rd))
}

func GetTimestampInMicro()  float64{
   mil := int64(time.Now().UnixNano() / 1000)
   return float64(mil)/1000000
}

func main() {
	//runtime.GOMAXPROCS(8) 
	runtime.GOMAXPROCS(runtime.NumCPU())
	//mrand.Seed(time.Now().UnixNano())
	datas := make(map[string]data)
	search_key_sli:=make([]string , 0)
	var rd uint32
	//var value data
	
	fmt.Println("Rd_max=", max_rd, ", row_num=", row_num)
	
	var count_repeat, real_count int = 0, 0
	var real_create_ts,_start_ts, time_use float64 = 0 , 0 , 0
	start_ts := GetTimestampInMicro()

	for i := 0; i < row_num; i++ {
		var d data
		var name string
		rd = getRd() //rand.Int31n(max_rd) + 1
		//fmt.Println("Rand=" , rd)
		d.id = rd
		
		str := fmt.Sprint(rd)
		name = Md5(str)
		d.name = name
		_, ok := datas[name] 
		
		if ok{
			count_repeat ++
		}else{
			_start_ts = GetTimestampInMicro()
			datas[name] = d
			real_create_ts += GetTimestampInMicro() - _start_ts
			real_count ++
		}
		
		if rd % row_num <100{
			search_key_sli=append(search_key_sli, name)
		}
    }
	time_use = GetTimestampInMicro() - start_ts
	//real_count := len(datas)
	
	fmt.Println("Repeat=", count_repeat)
	fmt.Println("Real count by len=", len(datas))
	
	fmt.Printf("======================\n")
	fmt.Printf("Create total use %.6f\n", time_use)
	fmt.Printf("Real create time %.6f\n", real_create_ts)
	fmt.Printf("======================\n")
	fmt.Printf("Real create speed %.6f q/s\n", float64(real_count)/real_create_ts)
	fmt.Printf("======================\n")
	fmt.Printf("Real Row count %d\n", real_count)
	fmt.Printf("======================\n")
	
	var item string
	start_ts = GetTimestampInMicro()
	for _, item = range search_key_sli {
		fmt.Printf("=> name= %s\n", datas[item].name)		
    }
	time_use = GetTimestampInMicro() - start_ts
	
	fmt.Printf("%d use %.6f\n", len(search_key_sli), time_use)
	fmt.Printf("Query Speed %.6f q/s\n", float64(len(search_key_sli))/time_use)
	fmt.Printf("Avg query time use %.6f s\n", time_use/float64(len(search_key_sli)))
	fmt.Printf("======================\n")
	
	time.Sleep(time.Duration(120)*time.Second)
}

 

leinchu
关注
Golang与Java：现代软件开发的两大工具对比
fudaihb的博客
04-09 1811
在现代软件开发领域，选择合适的编程语言对于项目的成功至关重要。在众多编程语言中，Golang（Go）和Java作为两大重要工具备受关注。Golang由谷歌开发，于2009年首次发布，旨在提供一种简洁、高效的编程语言，尤其适用于并发编程。Java则由Sun Microsystems于上世纪90年代推出，以其跨平台性、面向对象特性和强大的生态系统闻名于世，成为企业应用和大型系统开发的首选语言之一。
erlang序列化工具性能对比（erlang protobuf和term_to_binary对比）
zerooffdate的专栏
12-18 1006
公司内部最近做了一个性能测试，发现逻辑处理服务的加解包速度不行，于是做了简单的benchmark，比对了公司用的protobuf库和term_to_binary的性能差异。想看看性能如何。公司用的是basho的erlang_protobuffs ，挺旧的了，而且已经不再维护。先贴测试结果，本测试在我的mac上，用fusion虚拟的1核2g的ubuntu12.04，erlang16R3，跑的结果还是蛮
Erlang 杂记
05-07 657
学习Erlang的时候在书的留白处随手记录了一些东西,还有一些记录在了demo的注释里面,今天抽时间整理出来了一部分,分享一下.   Erlang的设计哲学是为每一个独立的事件创建一个新进程.Erlang的容错处理：如果不能完成一个任务就死掉 让其它正常的进程来善后。link函数就是用来建立这种进程间的双向连接来监测非正常退出，并做出处理。BIFs是built-in functions
Python VS Golng 谁更胜一筹？
最新发布
weixin_53707653的博客
09-19 1124
而Golang的生态系统相对较新，虽然在并发编程、Web开发等领域有不错的框架（如Gin、Echo），但在科学计算和数据分析等领域的库支持还比较薄弱。Go的goroutine与传统的线程相比，更加轻量，启动速度快，内存占用小，这使得它特别适合高并发应用，比如Web服务器、实时系统等。虽然Python的异步IO模型可以在某些场景下（如IO密集型任务）表现得相当出色，但在CPU密集型任务和真正的高并发场景下，它的表现仍然不如Golang。反观Golang，作为一门编译型语言，其设计之初就考虑到了高并发的需求。
erlang多进程间通信的性能测试
cbsying的专栏
09-28 3523
综述 上一篇是测试单个进程自己给自己发消息的速度， 差不多是每消息 1us。 如果编写实际的erlang程序，一定是一堆进程，进程之间相互发消息，为验证这种情况下消息收发的性能，写了个测试程序，程序的思路是：        1）创建N个进程        2）这N个进程，每个进程都再创建出一个接收进程，然后往那个进程发包，发M个包后，再给那个进程发个终止消息，给主进程发给自杀消息，然后自己
给自己一条退路，再次比较Erlang和Golang
weixin_30847271的博客
01-20 798
给自己一条退路，再次比较Erlang和Golang_陈叶皓_新浪博客 雨天的周末，适合码字的时节。。。 一年前我开始学习go语言的时候，如获至宝，既有python的编码效率，又带来性能的15倍提升。尤其是在异步编程方面，可以使用channel同步线程，不必加锁可以充分利用cpu多核计算，真是没有弱点。 后来慢慢了解到，这种无锁异步编程的思想，源自一门叫做erlang的语言，Er...
Java、PHP、Python与MySQL交互的性能测试
binma85的专栏
08-11 263
文章来源：http://www.keakon.cn/bbs/thread-1858-1-1.html 这几天看源码弄清了一件事：WEB服务器接收浏览器请求、将请求传给PHP/Python进程（FCGI等）、与数据库进行交互都是用socket（套接字）。 也就是说，这些行为都是进程间通信。一台WEB服务器在硬件、操作系统不变的情况下，它的性能主要取决于socket通信的速度。如果所有进程都在一台...
php和python性能-python、node、php、go、java性能对比测试
weixin_37988176的博客
11-01 501
python、node、php、go、java性能对比测试那随意了 • 2020 年 02 月 12 日python、node、php、go、java性能对比测试无意中看到了这篇文章突发奇想,我电脑环境那么多为什么不自己测一下呢开干电脑配置 i7 8700 ddr4 8g内存*4语言/运行次数100w1000w1亿版本java1429java8python909509305python 3.5ph...
python与java、php、go的优势对比，各语言不要引起恐慌哈
weixin_30614109的博客
07-24 1985
关心这个问题的伙伴还是太多的哈， 这里重点细说一下：首先在讲解python的优势之前， 大家需要先将这里的语言进行一个分类， 这里我们按照动态语言和静态语言来分类：动态语言：python， javascript， php， ruby等静态语言：java， c， c++, go等【注】： 动态语言也经常被大家称为脚本语言， 由于经常被称为脚本语言， 所以大多数时候大家都认为一些简单的任务就用pyth...
PHP与JAVA循环性能比较
动静之间
09-19 793
PHP/JAVA循环性能测试
java php python erlang 千万级内存数据性能比较
09-14
本文将深入探讨Java、PHP、Python和Erlang这四种语言在处理千万级内存数据时的性能差异。 首先，让我们从Erlang开始。Erlang是一种并发性极强的函数式编程语言，特别适合构建分布式、容错系统。在提供的文件"erlang...
C++,java,Go等语言性能对比
07-27
google 对C++，java，GO等语言做的性能评价分析
python读取excel表格生成erlang数据
12-24
为了将excel数据自动转换成所需要的erlang数据，听同事说使用python会很方便简单，就自学了两天python，写了一个比较粗糙的python脚本，不过能用，有什么优化的地方请指教 代码如下： #!/usr/bin/env python # -*- ...
ergo：使用Golang中ErlangOTP的技术和设计模式创建网状网络的框架
02-04
该项目的目标是利用Erlang / OTP经验和Golang性能。 Ergo Framework实现了诸如GenServer / Supervisor / Application类的OTP设计模式，并使您能够创建与Erlang基础架构进行本地集成的高性能和可靠的应用程序 产品...
erlang+java对比_Erlang和Java的内存模型比较
weixin_42349769的博客
02-27 597
对于从没听说过Erlang的人来说，有必要简单的介绍一下，它是一门函数式语言，并且使用异步消息传递作为它并发的基石。消息传递使用的是拷贝的机制，并且在不同的Erlang虚拟机中传播，甚至是在不同的机器上(不过这个对程序员来说是透明的)。Erlang和Java都通过虚拟机将底层硬件抽象成了一个可移植的平台。两门语言都采用了独立于机器的字节码。两者的运行时系统都通过垃圾回收来将程序员从内存管理中解放出...
golang java 对比_golang编程语言和java的性能对比
weixin_42699679的博客
02-12 918
这篇文章主要介绍了golang、java性能的对比,需要的朋友可以参考下！1、先说Go吧，因为我个人最近正在用，感觉很不错package mainimport "fmt"func main(){fmt.Println(fibonacci(34))}func fibonacci(i int) int{if(i<2){return i;}return fibonacci(i-2) + fibon...
Java：Golang 对比Java —— 哪个更好?
yueqian_edu的博客
03-13 1239
Java和Go语言都用于服务器端编程。你是否对应该使用哪种语言感到困惑:Java还是Golang?为了首先回答这个问题，你需要知道哪种语言比另一种更好。
golang和Java比较
runqu的博客
04-04 1755
Golang（也被称为Go）和Java都是流行的编程语言，都有自己的优点和用途。下面是Golang和Java之间的一些比较。
golang语言和JAVA对比
hitpter的专栏
10-15 1012
同时，我们也要意识到，技术的发展是不断变化的，新的编程语言和框架可能会出现并取代现有的技术。在同样的在线购物网站场景中，由于Java的面向对象特性和庞大的类库，开发人员可以更方便地构建复杂的业务逻辑和处理订单的流程。相比之下，虽然Golang的社区相对较小，但也有一些优秀的开源项目和框架，如Gin、Echo、Beego等，可以提供类似于Java的功能和支持。本文将探讨Golang和Java之间的比较和对比，分析它们在语言特性、性能、平台支持、社区和生态系统、开发效率和可维护性等方面的异同。
Go、Python与Erlang编程语言特性深度对比
"Go、Python和Erlang编程语言对比分析，主要关注它们的语言特性、并发模型和设计原则。文章指出Go语言特性受到C、Pascal和CSP的影响，Go在语言设计上较为精简，强调协程、自动垃圾回收和类型安全。Python拥有丰富的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值