R 中计算数据框中相同ID的均值 标准差 和删除行(记录或者观测)中重复的数据

首先要知道 计算均值的函数为 mean 计算标准差的函数 是 sd 。 还有一个函数 tapply ,我们需要用这个函数来实现我们要求实现的功能。
tapply(data,INDEX,FUN)
data 就是我们要计算平均值得 数据的来源
INDEX 就是指要以这里所列出的相同的ID为一组数据来计算
FUN 就是我们用到的函数
对于data和INDEX这两个数据的长度要一样,什么意思呢,就是data有多少行,INDEX也就应该有多少行,如果两个都为向量,那么元素个数要一样多。比如下面的例子,
money有270个数据,那么customerID也必须有270个。
假设有一个数据框 mydata,数据格式和值如下,我们要计算相同customerID的money的均值和标准差,方法为:


均值:tapply(mydata$money,INDEX=mydata$customerID,FUN=mean)
标准差:tapply(mydata$money,INDEX=mydata$customerID,FUN=sd)
对于apply函数返回的array类型的说明会在下一篇文章中说明。




删除行中重复的数据 要用到duplicated函数,函数的返回值是一个 包含TRUE FALSE的向量
删除customerID 重复的行 mydata[!duplicated(mydata$customerID),]


如果duplicated中的参数是mydata会返回什么样的结果呢,此时duplicated所比较的内容是行与行之间的比较,只有当行中没有两条完全相同的记录时,返回的向量中才不包含TRUE。duplicated函数返回的结果是,假设有一个向量 a为(1,1,2,2,1,1,3,5)duplicated(a)返回的结果为FALSE  TRUE FALSE  TRUE  TRUE  TRUE FALSE FALSE
即第一个出现的数字为FALSE,往后如果出现相同的则全为TRUE




              customerID   money mon
1   20120216124410   470  02
2   20120216124410  4760  03
3   20120216124410  4044  04
4   20120216124411   619  02
5   20120216124411  5620  03
6   20120216124411  5564  04
7   20120216124412   912  02
8   20120216124412  6320  03
9   20120216124412  3665  04
10  20120216124413   520  02
11  20120216124413  3900  03
12  20120216124413  2891  04
13  20120216124414  1013  02
14  20120216124414  8030  03
15  20120216124414  1715  04
16  20120216124415   609  02
17  20120216124415  9910  03
18  20120216124415  4762  04
19  20120216124416   964  02
20  20120216124416  4170  03
21  20120216124416  2810  04
22  20120216124417   458  02
23  20120216124417 10140  03
24  20120216124417  3653  04
25  20120216124418   442  02
26  20120216124418  8600  03
27  20120216124418  4456  04
28  20120216124419   378  02
29  20120216124419  5070  03
30  20120216124419  2019  04
31  20120216124420   660  02
32  20120216124420  4780  03
33  20120216124420  5066  04
34  20120216124421   265  02
35  20120216124421  4770  03
36  20120216124421  2863  04
37  20120216124422   722  02
38  20120216124422  9320  03
39  20120216124422  4826  04
40  20120216124423   577  02
41  20120216124423  5990  03
42  20120216124423  3608  04
43  20120216124424   715  02
44  20120216124424  2940  03
45  20120216124424  5166  04
46  20120216124425   475  02
47  20120216124425  5122  03
48  20120216124425  2645  04
49  20120216124426   485  02
50  20120216124426  3810  03
51  20120216124426  2568  04
52  20120216124427   689  02
53  20120216124427  2060  03
54  20120216124427  2697  04
55  20120216124428   667  02
56  20120216124428  6620  03
57  20120216124428  2384  04
58  20120216124429   166  02
59  20120216124429  4760  03
60  20120216124429  3635  04
61  20120216124430   663  02
62  20120216124430  7080  03
63  20120216124430  2107  04
64  20120216124431   507  02
65  20120216124431  4480  03
66  20120216124431  3007  04
67  20120216124432   737  02
68  20120216124432  6360  03
69  20120216124432  4001  04
70  20120216124433  1092  02
71  20120216124433  7980  03
72  20120216124433  3370  04
73  20120216124434   901  02
74  20120216124434  8060  03
75  20120216124434  5525  04
76  20120216124435   834  02
77  20120216124435  8770  03
78  20120216124435  3863  04
79  20120216124436   446  02
80  20120216124436  5200  03
81  20120216124436  2448  04
82  20120216124437   575  02
83  20120216124437  6220  03
84  20120216124437  1763  04
85  20120216124438   788  02
86  20120216124438  3070  03
87  20120216124438  3994  04
88  20120216124439  1041  02
89  20120216124439  8540  03
90  20120216124439  4851  04
91  20120216124440   758  02
92  20120216124440  8750  03
93  20120216124440  3018  04
94  20120216124441   598  02
95  20120216124441  6890  03
96  20120216124441  6672  04
97  20120216124442   866  02
98  20120216124442  8500  03
99  20120216124442  1219  04
100 20120216124443   443  02
101 20120216124443  5690  03
102 20120216124443  4070  04
103 20120216124444   717  02
104 20120216124444  5310  03
105 20120216124444  3696  04
106 20120216124445   934  02
107 20120216124445  8980  03
108 20120216124445  3573  04
109 20120216124446   967  02
110 20120216124446  9960  03
111 20120216124446  2025  04
112 20120216124447   764  02
113 20120216124447  5840  03
114 20120216124447  4418  04
115 20120216124448   627  02
116 20120216124448  6690  03
117 20120216124448  1372  04
118 20120216124449   521  02
119 20120216124449  7380  03
120 20120216124449  2557  04
121 20120216124450   454  02
122 20120216124450  3720  03
123 20120216124450  2756  04
124 20120216124451   438  02
125 20120216124451  4080  03
126 20120216124451  4297  04
127 20120216124452   716  02
128 20120216124452  5760  03
129 20120216124452  2840  04
130 20120216124453   476  02
131 20120216124453  5990  03
132 20120216124453  3679  04
133 20120216124454   737  02
134 20120216124454  5110  03
135 20120216124454  2153  04
136 20120216124455   853  02
137 20120216124455  5930  03
138 20120216124455  4341  04
139 20120216124456   223  02
140 20120216124456  8660  03
141 20120216124456  2889  04
142 20120216124457   628  02
143 20120216124457  4290  03
144 20120216124457  3195  04
145 20120216124458   574  02
146 20120216124458  2540  03
147 20120216124458  4493  04
148 20120216124459   874  02
149 20120216124459  2860  03
150 20120216124459  3420  04
151 20120216124460   978  02
152 20120216124460  9200  03
153 20120216124460  1971  04
154 20120216124461   570  02
155 20120216124461 10400  03
156 20120216124461  2137  04
157 20120216124462  1056  02
158 20120216124462  8240  03
159 20120216124462  2821  04
160 20120216124463   612  02
161 20120216124463  6740  03
162 20120216124463  3103  04
163 20120216124464   588  02
164 20120216124464  8560  03
165 20120216124464  1772  04
166 20120216124465   427  02
167 20120216124465  4580  03
168 20120216124465  1488  04
169 20120216124466   775  02
170 20120216124466  6280  03
171 20120216124466  3642  04
172 20120216124467   479  02
173 20120216124467  4040  03
174 20120216124467  3351  04
175 20120216124468   469  02
176 20120216124468  7950  03
177 20120216124468  4265  04
178 20120216124469   293  02
179 20120216124469  3670  03
180 20120216124469  1810  04
181 20120216124470   479  02
182 20120216124470  4330  03
183 20120216124470  2820  04
184 20120216124471   513  02
185 20120216124471  4070  03
186 20120216124471  3133  04
187 20120216124472   356  02
188 20120216124472  4060  03
189 20120216124472  2654  04
190 20120216124473   723  02
191 20120216124473  6119  03
192 20120216124473  1353  04
193 20120216124474   367  02
194 20120216124474  7510  03
195 20120216124474  4112  04
196 20120216124475   680  02
197 20120216124475  6450  03
198 20120216124475  3494  04
199 20120216124476   397  02
200 20120216124476  5170  03
201 20120216124476  1931  04
202 20120216124477   397  02
203 20120216124477  1900  03
204 20120216124477  3013  04
205 20120216124478   583  02
206 20120216124478  7590  03
207 20120216124478  3883  04
208 20120216124479   586  02
209 20120216124479  5670  03
210 20120216124479  6258  04
211 20120216124480   516  02
212 20120216124480  7450  03
213 20120216124480  5663  04
214 20120216124481   598  02
215 20120216124481  2440  03
216 20120216124481  2789  04
217 20120216124482   642  02
218 20120216124482  8070  03
219 20120216124482  3186  04
220 20120216124483   907  02
221 20120216124483  6770  03
222 20120216124483  2954  04
223 20120216124484   576  02
224 20120216124484  3740  03
225 20120216124484  3441  04
226 20120216124485   446  02
227 20120216124485  4870  03
228 20120216124485  4158  04
229 20120216124486   969  02
230 20120216124486  2450  03
231 20120216124486  1953  04
232 20120216124487   409  02
233 20120216124487  7540  03
234 20120216124487  2997  04
235 20120216124488   490  02
236 20120216124488  4780  03
237 20120216124488  4943  04
238 20120216124489  1182  02
239 20120216124489  5190  03
240 20120216124489  2950  04
241 20120216124490   470  02
242 20120216124490  2120  03
243 20120216124490  4330  04
244 20120216124491   399  02
245 20120216124491  6960  03
246 20120216124491  3501  04
247 20120216124492   259  02
248 20120216124492  4400  03
249 20120216124492  3439  04
250 20120216124493   677  02
251 20120216124493  9470  03
252 20120216124493  1599  04
253 20120216124494   660  02
254 20120216124494  3880  03
255 20120216124494  3572  04
256 20120216124495   734  02
257 20120216124495  2810  03
258 20120216124495  2941  04
259 20120216124496   565  02
260 20120216124496  4650  03
261 20120216124496  2558  04
262 20120216124497   813  02
263 20120216124497  5250  03
264 20120216124497  4379  04
265 20120216124498   718  02
266 20120216124498  8190  03
267 20120216124498  2249  04
268 20120216124499   500  02
269 20120216124499  5410  03
270 20120216124499  2807  04
深度学习是机器学习的一个子领域,它基于人工神经网络的研究,特别是利用多层次的神经网络来进学习和模式识别。深度学习模型能够学习数据的高层次特征,这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分: 1. **神经网络(Neural Networks)**:深度学习的基础是人工神经网络,它是由多个层组成的网络结构,包括输入层、隐藏层和输出层。每个层由多个神经元组成,神经元之间通过权重连接。 2. **前馈神经网络(Feedforward Neural Networks)**:这是最常见的神经网络类型,信息从输入层流向隐藏层,最终到达输出层。 3. **卷积神经网络(Convolutional Neural Networks, CNNs)**:这种网络特别适合处理具有网格结构的数据,如图像。它们使用卷积层来提图像的特征。 4. **循环神经网络(Recurrent Neural Networks, RNNs)**:这种网络能够处理序列数据,如时间序列或自然语言,因为它们具有记忆功能,能够捕捉数据的时间依赖性。 5. **长短期记忆网络(Long Short-Term Memory, LSTM)**:LSTM 是一种特殊的 RNN,它能够学习长期依赖关系,非常适合复杂的序列预测任务。 6. **生成对抗网络(Generative Adversarial Networks, GANs)**:由两个网络组成,一个生成器和一个判别器,它们相互竞争,生成器生成数据,判别器评估数据的真实性。 7. **深度学习框架**:如 TensorFlow、Keras、PyTorch 等,这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数(Activation Functions)**:如 ReLU、Sigmoid、Tanh 等,它们在神经网络用于添加非线性,使得网络能够学习复杂的函数。 9. **损失函数(Loss Functions)**:用于评估模型的预测与真实值之间的差异,常见的损失函数包括均方误差(MSE)、交叉熵(Cross-Entropy)等。 10. **优化算法(Optimization Algorithms)**:如梯度下降(Gradient Descent)、随机梯度下降(SGD)、Adam 等,用于更新网络权重,以最小化损失函数。 11. **正则化(Regularization)**:技术如 Dropout、L1/L2 正则化等,用于防止模型过拟合。 12. **迁移学习(Transfer Learning)**:利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都得了显著的成就,但它也面临着一些挑战,如对大数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值