浅谈张量数据的存储

最新推荐文章于 2024-10-13 10:46:52 发布

uxk0587

最新推荐文章于 2024-10-13 10:46:52 发布

阅读量4.3k

点赞数 4

分类专栏： Python 数据分析

本文为博主原创文章，版权归博主所有，未经博主允许不得转载，违者追究法律责任。

本文链接：https://blog.csdn.net/weixin_41660414/article/details/103616134

版权

本文探讨了多种高维张量数据的存储方法，包括Excel中的二维表加sheet、JSON格式存储到MySQL数据库、Python Numpy的Ndarray、Pandas的DataFrame以及HDF5和多维数据库（MDD）。每种方法都有其适用场景，例如Excel适用于小规模数据，Numpy适合快速计算，而HDF5和MDD则提供了高效的存储和查询能力。

摘要由CSDN通过智能技术生成

几种张量数据的存储方式：

主要讲讲高维的张量数据存储：

1.excel中二维表+不同sheet

以之前的发动机的数据为例：
一个文件中有多个sheet，sheet1、sheet2、…、sheetN
一个sheet中包含一个二维表
列是发动机的各项指标property1、property2、…、propertyN
行是发动机1、发动机2、…、发动机N

sheet1

	Property1	Property2
Engine1	10	12
Engine2	15	13
Engine3	11	14

2.用JSON格式存储，然后存至MySQL数据库，MySQL5.7.7版本已经开始原生支持JSON格式。

JSON是 JavaScript Object Notation的缩写，但是和Javascript语言没有多大关系。也是一种存储数据的方式。

JSON语法的核心是Key-Value键值对，最外侧的大括号开始表示JSON对象的起始，一直到末尾的大括号结束。

{
   #Json对象的开始
	"price": 9999,
	"country-of-origin" : "usa",
	"system": "Linux"
	"style" : {
   #JSON对象内部嵌套一个JSON对象，Style对应的JSON对象里面由包含两个键值对
				"categorises" : [ "laptop", "Game notebook" ],#JSON数组
				"color" : "black"
	}
}

以发动机的张量数据为例：

{
   
 "meta": {
   "title": "Engine data"
 		  "status":200
 		  "company": "Air China"	
 }
 "conent" : [{
   "date":"2019-12-15",
			  "Engine": [
			  {
   "name": "Engine1",
			  			  "Property1": "3",
			  			  "Property2": "4",
			  			  "Proerty3": " 5" },
			  {
   "name": "Engine2",
 				"Property1": "4",
 				"Property2": "3",
 				"Propety3": "5"}, 
 			  {
   "name": "Engine2",
			   "Property1": "4",
               "Property2": "3",
               "Propety3": "5"}]
               },  
              {
   "date":"2019-12-16",
			   "Engine": [
			  {
   "name": "Engine1",
			  			  "Property1": "3",
			  			  "Property2": "4",
			  			  "Property3": " 5" },
			  {
   "name": "Engine2",