《R的极客理想—工具篇》—— 1.6　R和JSON的傻瓜式编程

最新推荐文章于 2024-06-23 15:13:46 发布
最新推荐文章于 2024-06-23 15:13:46 发布
阅读量185 收藏
点赞数
文章标签： json r语言 c/c++
原文链接：https://yq.aliyun.com/articles/117404
版权

本节书摘来自华章出版社《R的极客理想—工具篇》一 书中的第1章，第1.6节，作者：张丹，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.6　R和JSON的傻瓜式编程

问题
如何让R语言的数据类型转换成JSON数据类型？
screenshot

引言
JSON作为一种轻量级数据格式，被大量地应用在各种程序环境中。JSON(JavaScript Object Notation)是JavaScript的内嵌的标准对象，同时也是MongoDB的表结构存储类型。JSON是半结构化的，可以表达出丰富的文档含义。JSON文档比XML文档要少很多，更适合于网络传输。早期R语言编程很少会用到JSON，但随着R语言的壮大，R也在伸向各种领域，JSON就是与其他领域的一个交点。如何让R语言傻瓜式转型JSON呢？请看下文介绍。

1.6.1　rjson包介绍

rjson是一个R语言与JSON进行转换的包，非常简单，支持R自身语言转型和基于C类库的转型两种方式。rjson包提供的函数只有3个，fromJSON(), newJSONParser(), toJSON()。 后面我们将介绍如何使用rjson包。本节使用的系统环境是：
Windows 7: x86_64-w64-mingw32/x64 (64-bit)
R: version 3.0.1
注　rjson同时支持Windows 7环境和Linux环境。

  1. 安装并加载rjson
> install.packages("rjson")  # 安装rjson
> library(rjson)  # 加载rjson

接下来，我们进行测试。新建JSON文件fin0.json：

~ vi fin0.json

{
    "table1": {
        "time": "130911",
        "data": {
            "code": [
                "TF1312",
                "TF1403",
                "TF1406"
            ],
            "rt_time": [
                130911,
                130911,
                130911
            ]
        }
    },
    "table2": {
        "time": "130911",
        "data": {
            "contract": [
                "TF1312",
                "TF1312",
                "TF1403"
            ],
            "jtid": [
                99,
                65,
                21
            ]
        }
    }
}
  1. 调用函数fromJSON(): 从JSON到R
    从fin0.json文件中，读取JSON并解析成R语言对象。我们通常把字节或者文字格式转型为程序对象的过程叫反序列化过程，与之相反的过程，叫做序列化过程。
> json_data <- fromJSON(paste(readLines("fin0.json"), collapse=""))
> json_data
$table1
$table1$time
[1] "130911"

$table1$data
$table1$data$code
[1] "TF1312" "TF1403" "TF1406"

$table1$data$rt_time
[1] 130911 130911 130911

$table2
$table2$time
[1] "130911"

$table2$data
$table2$data$contract
[1] "TF1312" "TF1312" "TF1403"

$table2$data$jtid
[1] 99 65 21
检查转型后，对应R语言的数据类型：
> class(json_data)
[1] "list"
> class(json_data$table2)
[1] "list"
> class(json_data$table2$data)
[1] "list"
> class(json_data$table2$data$jtid)
[1] "numeric"
> class(json_data$table1$data$code)
[1] "character"

我们看到原JSON对象转型后，除最内层外，其他都被解析为R的列表(list)类型，最内层则是基本(numeric,character)类型。在R对象结构中取JSON数据的一个叶子节点，JSON的索引路径为 json.table1.data.code[0]。

> json_data$table1$data$code
[1] "TF1312" "TF1403" "TF1406"
> json_data$table1$data$code[1]
[1] "TF1312"
  1. toJSON() 从R到JSON
    把R对象转型为JSON串，这个过程叫做序列化过程。还以刚才的json_data为例。
> json_str<-toJSON(json_data)

> print(json_str)
[1] "{\"table1\":{\"time\":\"130911\",\"data\":{\"code\":[\"TF1312\",\"TF1403\",
\"TF1406\"],\"rt_time\":[130911,130911,130911]}},\"table2\":{\"time\":\"130911\"
,\"data\":{\"contract\":[\"TF1312\",\"TF1312\",\"TF1403\"],\"jt
id\":[99,65,21]}}}"

> cat(json_str)
{"table1":{"time":"130911","data":{"code":["TF1312","TF1403","TF1406"],"rt_time"
:[130911,130911,130911]}},"table2":{"time":"130911","data":{"contract":["TF1312",
"TF1312","TF1403"],"jtid":[99,65,21]}}}

我们只要使用toJSON()函数，就可以实现R对象向JSON的转型。如果用print()函数输出，结果就是带转义的输出(")；如果直接用cat函数输出，结果就是标准的JSON串格式。把JSON输出到文件fin0_out.json, 有2种方法，即writeLines()和sink()。

> writeLines(json_str, "fin0_out1.json")  # writeLines方法
> sink("fin0_out2.json")  # sink方法
> cat(json_str)
> sink()

虽然写法不同，但是输出结果是一个样的，writeLines最后新建一个空行。

{"table1":{"time":"130911","data":{"code":["TF1312","TF1403","TF1406"],"rt_time":
[130911,130911,130911]}},"table2":{"time":"130911","data":{"contract":["TF1312",
"TF1312","TF1403"],"jtid":[99,65,21]}}}
  1. C语言库和R语言库转型，并进行性能测试

我们对fromJSON进行性能测试：

system.time( y <- fromJSON(json_str,method="C") )

用户 系统 流逝
0 0 0

system.time( y2 <- fromJSON(json_str,method = "R") )

用户 系统 流逝
0.02 0.00 0.02

system.time( y3 <- fromJSON(json_str) )

用户 系统 流逝
0 0 0


我们可以看到，基于C语言库的操作比基于R语言库的要快，因为数据量很小，所以0.02并不明显。当JSON串很大的时候，这个差距就会变得相当大了。fromJSON默认使用C语言库的方法，所以我们平时处理不用加method='C'的参数。下面做toJSON的性能测试。

system.time( y <- toJSON(json_data,method="C") )

用户 系统 流逝
0 0 0

system.time( y2 <- toJSON(json_data,method = "R") )

用户 系统 流逝
0.02 0.00 0.01

system.time( y3 <- toJSON(json_data) )

用户 系统 流逝
0 0 0

解释同前。
####1.6.2　RJSONIO包介绍
RJSONIO包，提供了2个主要的操作，把JSON串反序列化成R对象，把R对象序列化成JSON串。RJSONIO包的两个主要函数是fromJSON(), toJSON()，它还包括几个辅助函数，即asJSVars(), basicJSONHandler(), Bob(), isValidJSON(), readJSONStream()。RJSONIO包解决了rjson包序列化大对象慢的问题。RJSONIO依赖于底层的C语言类库libjson。
  1. 安装并加载RJSONIO

install.packages("RJSONIO")
library(RJSONIO)

  1. fromJSON() 从JSON到R
    同rjson一样，测试fromJSON()函数。

json_data <- fromJSON(paste(readLines("fin0.json"), collapse=""))
json_data

$table1
$table1$time
[1] "130911"

$table1$data
$table1$data$code
[1] "TF1312" "TF1403" "TF1406"

$table1$data$rt_time
[1] 130911 130911 130911
$table2
$table2$time
[1] "130911"
$table2$data
$table2$data$contract
[1] "TF1312" "TF1312" "TF1403"
$table2$data$jtid
[1] 99 65 21


我们发现与 rjson的结果是一样，R对象除最内层外，其他都是列表(list)类型。下面取叶子节点：

json_data$table1$data$code

[1] "TF1312" "TF1403" "TF1406"

json_data$table1$data$code[1]

[1] "TF1312"


3. toJSON() 从R到JSON
做toJSON的性能测试：

json_str<-toJSON(json_data)
print(json_str)

[1] "{n "table1": {n "time": "130911",n"data": {n "code":
["TF1312", "TF1403", "TF1406" ],n"rt_time": [ 1.3091e+05, 1.3091e+05,
1.3091e+05 ] n} n},n"table2": {n "time": "130911",n"data": {n
"contract": [ "TF1312", "TF1312", "TF1403" ],n"jtid": [99,
65,21 ] n} n} n}"

cat(json_str)

{
"table1": {
"time": "130911",
"data": {
"code": [ "TF1312", "TF1403", "TF1406" ],
"rt_time": [ 1.3091e+05, 1.3091e+05, 1.3091e+05 ]
}
},
"table2": {
"time": "130911",
"data": {
"contract": [ "TF1312", "TF1312", "TF1403" ],
"jtid": [99,65,21 ]
}
}
}


toJSON的函数输出与rjson是不一样的，这个输出是格式化的。下面输出到文件：

writeLines(json_str, "fin0_io.json")

文件结果：
{
"table1": {
"time": "130911",
"data": {
"code": [ "TF1312", "TF1403", "TF1406" ],
"rt_time": [ 1.3091e+05, 1.3091e+05, 1.3091e+05 ]
}
},
"table2": {
"time": "130911",
"data": {
"contract": [ "TF1312", "TF1312", "TF1403" ],
"jtid": [ 99, 65, 21 ]
}
}
}


4. isValidJSON() 验证JSON是否合法
验证JSON的格式是否合法。

isValidJSON(json_str)

Error in file(con, "r") : cannot open the connection

isValidJSON(json_str,TRUE) #合法JSON

[1] TRUE

isValidJSON(I('{"foo" : "bar"}')) #合法JSON

[1] TRUE

isValidJSON(I('{foo : "bar"}')) #不合法JSON

[1] FALSE

  1. asJSVars() 转换为JavaScript变量格式

cat(asJSVars( a = 1:10, myMatrix = matrix(1:15, 3, 5)))
a = [ 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 ] ;

myMatrix = [ [ 1, 4, 7, 10, 13 ],

       [ 2, 5, 8, 11, 14 ],
       [ 3, 6, 9, 12, 15 ] ] ;

得到两个JavaScript变量，即数组a和二维数组myMatrix.
####1.6.3　自定义JSON的实现
在R语言中，我们最常用的类型是data.frame，接下来我们自己实现data.frame类型和JSON的转换。首先，把R的data.frame对象转成我们定义的JSON格式。
定义输出JSON的格式：

[

{
    "code": "TF1312",
    "rt_time": "152929",
    "rt_latest": 93.76,
    "rt_bid1": 93.76,
    "rt_ask1": 90.76,
    "rt_bsize1": 2,
    "rt_asize1": 100,
    "optionValue": -0.4,
    "diffValue": 0.6
}

]


定义R语言data.frame类型对象：

df<-data.frame(
code=c('TF1312','TF1310','TF1313'),

rt_time=c("152929","152929","152929"),
rt_latest=c(93.76,93.76,93.76),
rt_bid1=c(93.76,93.76,93.76),
rt_ask1=c(90.76,90.76,90.76),
rt_bsize1=c(2,3,1),
rt_asize1=c(100,1,11),
optionValue=c(-0.4,0.2,-0.1),
diffValue=c(0.6,0.6,0.5)
)

df

code rt_time rt_latest rt_bid1 rt_ask1 rt_bsize1 rt_asize1 optionValue diffValue

1 TF1312 152929 93.76 93.76 90.76 2 100 -0.4 0.6

2 TF1310 152929 93.76 93.76 90.76 3 1 0.2 0.6
3 TF1313 152929 93.76 93.76 90.76 1 11 -0.1 0.5


直接使用toJSON，输出的JSON串按列组合成了数组，并不是我们想要的。

cat(toJSON(df))

{
"code": ["TF1312", "TF1310", "TF1313"],
"rt_time": ["152929", "152929", "152929"],
"rt_latest": [93.76, 93.76, 93.76],
"rt_bid1": [93.76, 93.76, 93.76],
"rt_ask1": [90.76, 90.76, 90.76],
"rt_bsize1": [2, 3, 1],
"rt_asize1": [100, 1, 11],
"optionValue": [-0.4, 0.2, -0.1],
"diffValue": [0.6, 0.6, 0.5]
}


我们要对data.frame类型进行数据处理：

library(plyr) #用plyr进行数据转换
cat(toJSON(unname(alply(df, 1, identity))))

[
{
"code": "TF1312",
"rt_time": "152929",
"rt_latest": 93.76,
"rt_bid1": 93.76,
"rt_ask1": 90.76,
"rt_bsize1": 2,
"rt_asize1": 100,
"optionValue": -0.4,
"diffValue": 0.6
},
{
"code": "TF1310",
"rt_time": "152929",
"rt_latest": 93.76,
"rt_bid1": 93.76,
"rt_ask1": 90.76,
"rt_bsize1": 3,
"rt_asize1": 1,
"optionValue": 0.2,
"diffValue": 0.6
},
{
"code": "TF1313",
"rt_time": "152929",
"rt_latest": 93.76,
"rt_bid1": 93.76,
"rt_ask1": 90.76,
"rt_bsize1": 1,
"rt_asize1": 11,
"optionValue":-0.1,
"diffValue": 0.5
}
]


输出的结果已经通过alply()函数做了数据变换，这正是我希望的按行输出的结果。
####1.6.4　JSON性能比较
性能比较我们做2组测试，一组是rjson和RJSONIO 对大对象进行序列化(toJSON)测试，另一组是RJSONIO包序列化(toJSON) 列式输出和行式输出的测试。
1. rjson和RJSONIO 对大对象进行序列化(toJSON)测试
创建一个rjson测试脚本，在命令行运行。

library(rjson)
df<-data.frame(

  • a=rep(letters,10000),
  • b=rnorm(260000),
  • c=as.factor(Sys.Date()-rep(1:260000))
  • )

system.time(rjson::toJSON(df))
1.01 0.02 1.03
system.time(rjson::toJSON(df))

1.01 0.03 1.04

system.time(rjson::toJSON(df))

0.98 0.05 1.03


同样，再创建一个RJSONIO测试脚本，在命令行运行。

library(RJSONIO)
df<-data.frame(

  • a=rep(letters,10000),
  • b=rnorm(260000),
  • c=as.factor(Sys.Date()-rep(1:260000))
  • )

system.time(RJSONIO::toJSON(df))
2.23 0.02 2.24
system.time(RJSONIO::toJSON(df))

2.30 0.00 2.29

system.time(RJSONIO::toJSON(df))

2.25 0.01 2.26


对比结果发现，rjson的性能优于RJSONIO。
2. rjson和RJSONIO，序列化(toJSON)列式输出和行式输出的测试
创建一个rjson测试脚本，在命令行运行。

library(rjson)
library(plyr)
df<-data.frame(

  • a=rep(letters,100),
  • b=rnorm(2600),
  • c=as.factor(Sys.Date()-rep(1:2600))
  • )

system.time(rjson::toJSON(df))
0.01 0.00 0.02
system.time(rjson::toJSON(df))

0.01 0.00 0.02

system.time(rjson::toJSON(unname(alply(df, 1, identity))))

1.55 0.02 1.56

system.time(rjson::toJSON(unname(alply(df, 1, identity))))

0.83 0.00 0.83


同样，再创建一个RJSONIO测试脚本，在命令行运行。

library(RJSONIO)
library(plyr)
df<-data.frame(

  • a=rep(letters,100),
  • b=rnorm(2600),
  • c=as.factor(Sys.Date()-rep(1:2600))
  • )

system.time(RJSONIO::toJSON(df))
0.03 0.00 0.03
system.time(RJSONIO::toJSON(df))

0.04 0.00 0.03

system.time(RJSONIO::toJSON(unname(alply(df, 1, identity))))

2.82 0.02 2.84

system.time(RJSONIO::toJSON(unname(alply(df, 1, identity))))

2.06 0.00 2.06

weixin_33981932
关注
R的极客理想 高级开发篇 + R的极客理想 工具篇 + R的极客理想 量化投资篇
10-22
R的极客理想 高级开发篇 + R的极客理想 工具篇 + R的极客理想 量化投资篇
R的极客理想系列文章
闲云孤鹤
09-10 1万+
R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要
无涯教程-R JSON文件
最新发布
无涯教程
06-23 633
JSON代表JavaScript Object Notation。JSON文件包含人类可读格式的数据作为文本。像其他文件一样，我们也可以读写JSON文件。为此，R提供了一个名为rjson的软件包，我们必须借助熟悉的命令进行安装。
R的极客理想：工具篇，完整扫描版
02-03
《R的极客理想·工具篇》首先介绍了R的工具包、时间序列包和性能监控包，然后阐述R语言与其他编程语言的通信以及R语言作为服务器的应用，最后阐释R语言与各种数据库的通信以及R语言与Hadoop集成。附录介绍了Java、Hadoop以及各种数据库对安装方式。书中内容涉及计算机、互联网、数据库、大数据、统计、金融等领域，详细总结了R语言与Java、MySQL、Redis、MongoDB、Cassandra、Hadoop、Hive、Hbase等技术的综合运用的解决方案，具有实战性，可操作性强。
《R的极客理想—工具篇》—— 导读
weixin_34221112的博客
07-03 186
前　　言 为什么要写这本书我是一名程序员，前后做了10年的程序开发工作。在这10年间，我从程序员一路做到架构师，经历了太多的系统和应用。我做过手机游戏，写过编程工具；做过大型Web应用系统，写过公司内部CRM；做过SOA的系统集成，写过基于Hadoop的大数据工具；做过外包，做过电商，做过团购，做过支付，做过SNS，也做过移动SNS。以前只用Ja...
R的极客理想 工具篇-02.zip
11-17
R的极客理想 工具篇，卷二，带目录，张丹著，完整版，由于压缩包太大，分两卷上传，如有需要请两卷同时下载，否则无法正常解压。
R的极客理想 工具篇+高级开发篇+量化投资篇.zip
05-22
首先介绍了R的工具包、时间序列包和性能监控包，然后阐述R语言与其他编程语言的通信以及R语言作为服务器的应用，最后阐释R语言与各种数据库的通信以及R语言与Hadoop集成。附录介绍了Java、Hadoop以及各种数据库对...
r语言 mysql json_R语言JSON文件
weixin_36313293的博客
02-11 122
JSON文件以可读取的格式将数据存储为文本。Json是一种JavaScript对象表示法。R可以使用rjson包读取JSON文件。安装rjson软件包在R控制台中，您可以发出以下命令来安装rjson包。install.packages("rjson")准备输入数据源通过将以下数据复制到文本编辑器(如记事本)中创建一个JSON文件。 使用.json扩展名保存文件，并将文件类型选为所有文件(*.*)。...
RPackage008---Rjson&RJSONIO
此心安处是吾乡
05-18 504
整理下之前的笔记，发现当年在杭州还写过r解析json的东西，直接复制代码了，懒得搞~ rjson # Ref: http://www.dataguru.cn/article-3537-1.html # install.packages("rjson") library(rjson) getwd() # fromJSON() 从JSON到R ------------------------------------------------------ json_data <- fromJSON(fil
R和JSON的傻瓜式编程
fens的博客
09-18 329
R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用...
R读取json文件之路
xzsj0421的博客
07-06 9814
以下过程是在RStudio实现的第一步 找package--可处理json文件的包有 rjson/jsonio/jsonlite先尝试安装rjson     2. 第二步 看帮助文档用法：fromJSON( json_str, file, method = "C", unexpected.escape = "error", simplify = TRUE )douban_data&lt;-from...
《R的极客理想—工具篇》—— 1.8　caTools：一个奇特的工具集
weixin_34129145的博客
07-03 1262
本节书摘来自华章出版社《R的极客理想—工具篇》一 书中的第1章，第1.8节，作者：张丹，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.8　caTools：一个奇特的工具集 问题R除了统计，还能干什么？ 引言R语言生来就是自由的，不像Java和PHP等有统一的规范约束。R语言不仅命名、语法各包各异，就连功能也是各种混搭。caTools库就是这...
使用JSONObject需要的6个jar包下载地址
热门推荐
默默的笔记
12-09 6万+
JSONObject所必需的6个jar包: commons-beanutils-1.7.0.jar commons-collections-3.1.jar commons-lang-2.5.jar commons-logging.jar ezmorph-1.0.3.jar json-lib-2.1-jdk15.jar 网上有很多的下载jar包地址，但是我个人比较喜欢的是Maven网站，...
python 中 json 包用法简单总结
jingjishisi的博客
02-08 1万+
JSON包的引用 python对象与JSON对象的互相转换 存取JSON文件 python官方帮助文档 JSON包的引用 在文件头部引用json包 import json python对象与JSON对象的互相转换 json对象的类型为’str’： dic = {'b':'I', 'a':123, 'c':'100'} j1 = json.dumps(d...
R语言的对象以json的形式储存
邓飞----育种数据分析之放飞自我
04-15 1197
###参考 Getting started with JSON and jsonlite 0. 安装包 install.packages("rjson") 1. 向量 library(rjson) vector = c(1:10) vector toJSON(vector) > ### vector > vector = c(1:10) # vector > vector ...
R语言 JSON文件
KopWelkin的博客
04-19 4979
JSON文件以人类可读格式将数据存储为文本。 Json代表JavaScript Object Notation。 R可以使用rjson包读取JSON文件。 安装rjson包 在R语言控制台中，您可以发出以下命令来安装rjson包。 install.packages("rjson") 输入数据 通过将以下数据复制到文本编辑器（如记事本）中来创建JSON文件。 使用.json扩展...
R语言转换并保存json文件--使用jsonlite包
女王的code
05-08 1万+
R语言转换并保存json文件--使用jsonlite包钱亦欣 发表于 2017-07-03 00:10   2477 阅读http://www.ituring.com.cn/article/468152作者 钱亦欣json是当下非常流行的数据交换格式，有着简单易用，易读（人和机器都容易）等特点。目前挺流行的非关系型数据库MongoDB就可以简单理解为一个json的容器，同时mysql（5.7以上版...
pandas 读取json数据
a1272899331的博客
06-26 7217
input.json 文件内容 { "ID":["1","2","3","4","5","6","7","8" ], "Name":["Rick","Dan","Michelle","Ryan","Gary","Nina","Simon","Guru" ], "Salary":["623.3","515.2","611","729","843.25","578","632.8...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值